SAM3 в ComfyUI: сегментация объектов по текстовому промпту без ручных масок

SAM3 (Segment Anything Model 3) от Meta умеет вырезать объекты на фото и видео по текстовому описанию — без ручного рисования масок. Пишешь «человек в красной куртке» — модель сама строит контур. Для ComfyUI-пользователей это означает, что inpainting, замену фона и локальную ретушь можно автоматизировать без Photoshop.

Что такое SAM3 и зачем он нужен

Предыдущие версии SAM работали с точками и прямоугольниками: ты кликал на объект, модель строила маску. SAM3 добавляет текстовые промпты — теперь можно описать объект словами, и модель найдет его сама. Это работает и на статичных изображениях, и на видео: маска «следует» за объектом по кадрам.

Для AI-креатора это решает три конкретные задачи:

• Замена фона — вырезать человека из фото без зеленого экрана.
• Локальный inpainting — изменить только куртку, не трогая лицо и фон.
• Маскирование для видео — отслеживать объект по всем кадрам клипа.

SAM3 работает быстрее SAM2 на той же задаче и точнее обрабатывает мелкие детали — волосы, прозрачные объекты, перекрытия.

Как установить SAM3 в ComfyUI

Шаг 1. Установить кастомную ноду

Открой менеджер нод ComfyUI (ComfyUI Manager) → «Install Custom Nodes» → найди ComfyUI-SAM2 (большинство нод для SAM3 пока идут в этом пакете, так как SAM3 — его развитие). Установи и перезапусти ComfyUI.

Альтернативный вариант — вручную через терминал:

cd ComfyUI/custom_nodes
git clone https://github.com/neverbiasu/ComfyUI-SAM2
cd ComfyUI-SAM2
pip install -r requirements.txt

Шаг 2. Скачать веса модели

Веса SAM3 доступны на Hugging Face: facebook/sam3-hiera-large. Скачай файлы .pt или .safetensors и положи в папку ComfyUI/models/sam. Если папки нет — создай её вручную.

Для большинства задач подойдет вариант hiera-base+ (весит около 320 МБ). Вариант hiera-large точнее, но требует больше VRAM — от 8 ГБ.

Шаг 3. Проверить установку

После перезапуска ComfyUI в библиотеке нод появится группа SAM2/SAM3. Если нод нет — проверь консоль на ошибки при загрузке, обычно это конфликт версий torch или отсутствие зависимостей.

Базовый workflow: маска по текстовому промпту

Минимальный workflow для сегментации по тексту состоит из пяти нод:

1. Load Image — загружает исходное фото.
2. SAM3 Model Loader — загружает веса модели в память.
3. SAM3 Text Prompt Segmentor — принимает изображение и текстовый промпт, возвращает маску.
4. Mask to Image — конвертирует маску в черно-белое изображение для визуализации или дальнейшей обработки.
5. Preview Image — показывает результат.

Как писать промпты для SAM3

Промпты работают лучше, когда описывают объект конкретно:

• «person wearing red jacket» — лучше, чем просто «person»
• «car parked on the left side» — указывай положение, если объектов несколько
• «woman with long dark hair» — физические признаки работают надежно

Если модель захватывает лишнее — добавь уточнение через запятую: «jacket, not the background».

Workflow для inpainting с SAM3

Чтобы сразу использовать маску для изменения объекта:

1. К цепочке выше добавь ноду VAE Encode (for inpainting).
2. Подключи маску из SAM3 в слот mask.
3. Добавь KSampler с нужным промптом — например, «blue jacket» вместо красной.
4. Декодируй через VAE Decode и выведи результат.

Маска SAM3 точнее ручной — края объекта сохраняются даже на мелких деталях вроде пуговиц.

Где использовать маски в реальных проектах

Портреты для соцсетей

Если ты делаешь контент для Reels или ВКонтакте: загружай фото, сегментируй человека одним промптом, меняй фон через inpainting. Вместо часа в Photoshop — 2-3 минуты в ComfyUI.

Продуктовые фото

Промпт «product on table» вырезает товар, дальше можно подставить студийный фон или добавить тень через ControlNet.

Видеоконтент

SAM3 поддерживает tracking: маска сохраняется между кадрами. Это нужно для AI-видео, где нужно менять одежду персонажа или накладывать эффекты только на конкретный объект. В ComfyUI для этого используется связка SAM3 + нода Video Combine.

Для работы с AI-видео в более простом формате — без локальной установки — Kling Video v2.6 и Minimax Hailuo доступны в нашем чат-боте в Telegram и сообществе ВКонтакте (для запуска написать Start в сообщении сообщества).

Итог

• SAM3 строит маски по текстовому описанию — не нужно кликать по объекту вручную.
• Для установки в ComfyUI нужен пакет ComfyUI-SAM2/SAM3 и веса модели с Hugging Face.
• Базовый workflow — пять нод; для inpainting добавляется ещё три.
• Промпты работают лучше с конкретными деталями: цвет, положение, физические признаки.
• На видео SAM3 отслеживает объект покадрово — это упрощает работу с динамичным контентом.