Основи роботи з ComfyUI: покроковий гайд для художників та CG-спеціалістів

Привіт! Мене звати Володимир Старушко, я AI Art Engineer у Plarium. Працював у компанії як 2D Artist, потім як Lead 3D Artist, а останні два роки займаюся впровадженням ШІ в артпроцеси.

У цьому матеріалі розповім про ComfyUI — ШІ-інструмент для генерації зображень, що працює на основі Stable Diffusion. Також покроково покажу, як створити в цій програмі власний арт: від завантаження моделі та написання промптів до налаштування KSampler і розширення можливостей за допомогою доповнень LoRA та ControlNet.

Ми розпочнемо з базового рівня, але саме це потім дасть вам змогу будувати складніший workflow.

Чому саме ComfyUI

ComfyUI — це редактор на базі нод, побудованих на Python, що виконують певні функції. З’єднуючи кілька нод, ви будуєте workflow, який генерує зображення.

Наші арткоманди тестують і використовують чимало ШІ-сервісів, але ComfyUI має кілька переваг.

1. Прозорість. Можна побачити весь процес генерації зображення, легко відредагувати будь-який крок, а також одразу зрозуміти, як це впливає на результат.
2. Гнучкість і кастомізація. Workflow адаптується під конкретний проєкт, сетинг чи стиль. Оскільки ComfyUI є системою open source, ноди для неї створює спільнота з усього світу, тому можна реалізувати практично будь-яке завдання, зокрема підключити платні моделі для генерації відео.
3. Масштабованість. ComfyUI розгортається й на сервері, завдяки чому десятки художників здатні системно працювати з єдиним налаштованим середовищем.

Інтерфейс ComfyUI

У Plarium ми працюємо з ComfyUI через внутрішню систему ArtMaker. Це наш власний інструмент для ШІ-генерації зображень, побудований на базі ComfyUI. Він інстальований на спільному сервері, тому арткоманди користуються одним налаштованим середовищем, не встановлюючи нічого локально та не турбуючись про ліцензійні обмеження моделей.

Як установити ComfyUI

Завантажити ComfyUI можна як portable-версію з GitHub або через звичайний інсталятор.

Одразу після завантаження редактор буде порожнім. Щоб програма запрацювала, вам потрібні моделі, завдяки яким генеруються зображення. Про те, як їх додавати, я розкажу в наступному розділі.

Як створити базовий workflow у ComfyUI та згенерувати зображення

За генерацію відповідає нода KSampler. У ній зібрані налаштування, що вказують системі, скільки робити проходів, які семпли використовувати, з яким впливом промпту робити генерацію тощо.

У KSampler є чотири входи (model, positive, negative, latent_image), які нам потрібно заповнити.

1. У вхід model завантажуємо базову модель, наприклад із ноди Load Checkpoint

Нода Load Checkpoint має три виходи:

• MODEL— керує тим, як саме генерується зображення;
• CLIP — розшифровує текстовий промпт;
• VAE — перетворює латентне зображення на звичайне й навпаки.

Можна сказати, що це три окремі компоненти (моделі), запаковані в один файл.

Яку модель вибрати

Є декілька основних видів моделей.

• Stable Diffusion 1.0–1.5 — досі активно використовуються, хоча й натреновані на зображеннях 512 × 512 px.

Порада. Під час генерування 1024 × 1024 px з нуля в базовому KSampler модель майже завжди створює артефакти дублювання (дві голови, зайві кінцівки). Щоб отримати якісне зображення в роздільності 1024 px в SD 1.5, обов’язково потрібен Hires Fix або Hi-Res Upscale workflow.

• SDXL — наступне покоління, натреноване на 1024×1024 px. Модель працює з роздільністю до ~2000 px.
• Flux — сучасніша версія, що перетворює текстові описи на високоякісні зображення, краще розуміє промпти, має високий рівень деталізації та реалістичності.
• Pony — SDXL-модель, донавчена на великому масиві аніме- та мультяшних зображень.

Ми розбиратимемо workflow для простіших моделей SD 1.5, SDXL. Для Flux назви та кількість нод трохи відрізнятимуться. Це доволі важка модель, що займає багато пам’яті, тож звертайте увагу на вимоги, чи потягне її ваш комп’ютер.

Найпопулярніший ресурс, де можна знайти й порівняти моделі, — civitai.com.
На сайті є приклади генерацій, рекомендовані налаштування й фільтри.

Порада. Вибирати модель варто не за назвою, а за тим, під що вона навчена: одні дають реалістичніші версії, інші — більш стилізовану чи анімовану картинку, треті краще працюють з оточенням. Модель не домалює те, чого не знає.

Наприклад, ви хочете згенерувати спартанця, але вам потрібен ракурс ззаду. Якщо модель не навчена на різних видах спартанських шоломів, вона спробує використати те, що в неї вже є, і результат не буде влучним. Якщо не вдається отримати потрібний результат з однією моделлю, спробуйте іншу.

2. Додаємо ноди позитивного та негативного промптів

Для цього на робочому просторі відкриваємо дві ноди CLIP Text Encode, які перетворюють текстовий промпт на токени (condition). Це формат, зрозумілий моделі. Сюди ми вводимо:

• позитивний промпт — те, що хочемо обовʼязково бачити в зображенні;
• негативний — те, чого хочемо уникнути.

3. Додаємо ноду Empty Latent Image

Latent space — це стиснутий у десятки разів внутрішній простір, у якому модель опрацьовує не повне зображення, а його компактне представлення, що значно пришвидшує генерацію.

Додатково з’єднуємо ноди. Раніше я зазначав, що Load Checkpoint має три частини. CLIP потрібно зʼєднати з відповідними значеннями в нодах CLIP Text Encode, щоб модель могла правильно зчитати текстові промпти.

4. Декодуємо результат

За замовчуванням KSampler створює латентне зображення. Його потрібно декодувати у звичайне растрове, що й робить нода VAE Decode. Спочатку додаємо її, а далі підключаємо ноду Preview Image, щоб одразу бачити результат генерації.

Фінально поєднуємо ноду VAE, що відповідає за модель (Load Checkpoint), із нодою VAE Decode.

Готово! Ми побудували мінімальний workflow для генерації зображень.

Налаштовуємо KSampler

Розберімося з ключовими параметрами.

• Seed — параметр випадковості генерації. Коли модель створює нове зображення, то не починає одразу малювати персонажа. Спочатку вона бачить хаотичний набір випадкових пікселів. Саме Seed визначає, яким буде цей хаос. За однакових налаштувань і Seed ви завжди отримаєте той самий результат. Зміна показника дає змогу повторювати результати або свідомо їх варіювати.
• Control after generate — це параметр, який визначає, що робити зі значенням Seed після завершення генерації. Найпоширеніші варіанти — Fixed і Randomize. Seed у значенні Fixed не змінюється, а в значенні Randomize після кожної генерації ComfyUI автоматично створює новий випадковий Seed.

Інші чотири параметри залежать від конкретної моделі. На civitai.com автори моделей зазвичай указують рекомендовані значення для правильного використання цієї моделі.

• Steps — кількість кроків, які має зробити модель, щоб згенерувати зображення.
• CFG scale — показник того, наскільки сильно модель дотримується вашого промпту: що вище значення, то точніше згенероване зображення відповідає текстовому опису.
• Sampler — алгоритм, за яким відбувається генерація. Одним із найуніверсальніших вважають DPM++ 2M, бо він зазвичай забезпечує гарний баланс між деталізацією, швидкістю та стабільністю.
• Scheduler — параметр, що визначає, як саме розподілятимуться кроки генерації між початком і кінцем процесу. Наприклад, Normal розподіляє кроки більш рівномірно. Karras приділяє більше уваги фінальним етапам, коли модель уже працює над дрібними деталями. Саме тому його часто використовують для отримання більш чітких і деталізованих зображень.

Порада. Якщо на сторінці моделі даних немає, перегляньте метадані згенерованого зображення. ComfyUI зберігає у файлі повний workflow. Зображення можна перетягнути на робочий простір і відновити всі налаштування.

Пишемо промпт

Коли всі налаштування введені, переходимо до генерації. Пишемо у відведені поля позитивний та негативний промпти.

Наприклад, щоб створити середньовічну лицарку, пишу позитивний промпт: «Woman in armor, in battle». Але я не хочу, щоб у неї було світле волосся, тому як негативний промпт додаю «Blond».

Вибираю модель DreamShaperXL. Для KSampler виставляю такі налаштування: seed 1, steps 4, cfg 2, sampler dpmpp_sde, scheduler karras.

Вам може здатися, що промпти, які я ввів, банальні. Проте старі моделі, як-от SD 1.5 та SDXL, не розуміють розгорнутих описових речень. Вони краще обробляють короткі фрази, написані через кому. Тому «woman in armor, in battle» спрацює краще за розлогий промпт. Новіші моделі, як-от Flux, уже краще розуміють довші описи.

Порада. Якщо треба підсилити вплив якоїсь деталі, візьміть її в дужки.

Порада. Якщо потрібно отримати зображення більшого розміру, використовуйте апскейлери: вони не просто збільшують арт, а й доробляють деталі, яких не було в меншому варіанті.

Запускаємо процес генерації та зберігаємо зображення

Натискаємо Run (або Ctrl + Enter). Ось такий результат у нас вийшов:

Щоб завантажити результат, натисніть правою кнопкою миші на зображення та виберіть Save Image. Можна також налаштувати автоматичне завантаження генерацій, замінивши ноду Preview Image на Save Image.

Image-to-Image Workflow: як у ComfyUI змінити готове зображення

Генерація зображень із нуля в ComfyUI не найпоширеніша для нас практика, бо часто їхнє походження легко зчитати, а це суттєво знижує довіру. Також ШІ поки не може генерувати глибші ідеї чи продуманіших персонажів, які є в наших проєктах. Тому більшість реальних завдань — це редагування, покращення чи виправлення наявних артів.

Як побудувати Image-to-Image Workflow

1. Додаємо ноду Load Image та завантажуємо потрібне зображення.

2. Перетворюємо результат із растрового формату на латентний через додаткову ноду VAE Encode. Після цього зʼєднуємо з KSampler.

Ключовим параметром KSampler тут є Denoise. Він визначає, наскільки сильно можна змінювати вхідне зображення.

• Значення ближче до 1.0 — модель майже повністю перемальовує все заново.
• Значення ближче до 0 — зберігає вхідне зображення майже без змін.

Практичний прийом. Якщо вхідне зображення занадто реалістичне для ігрової стилістики, я проганяю його через менш реалістичну модель із невисоким значенням Denoise (0,3–0,5), а також навпаки. Це дає контрольований перехід між стилями без втрати композиції та пропорцій оригіналу.

Як розширити можливості базової моделі завдяки LoRA

LoRA — це невелика додаткова модель, яка не замінює основну, а доповнює її: додає знання, яких у базовій моделі не було. Наприклад, базова модель не знає, який вигляд має конкретний персонаж із нашої гри, але якщо навчити LoRA на референсах цього персонажа в різних ракурсах, модель почне генерувати саме його.

Як налаштувати LoRA

1. Шукаємо потрібну LoRA. Її теж можна знайти на civitai.com. Для цього у фільтрі Model Types обираємо пункт LoRA. LoRA прив’язана до конкретного типу базової моделі. Тобто для моделі SD 1.5 вам потрібно підбирати у фільтрах LoRA SD 1.5.

2. Підключаємо окрему ноду Load LoRA. Розміщуємо її між Load Checkpoint і KSampler. Нода Load LoRA отримує MODEL і CLIP із Checkpoint і видає видозмінені MODEL та CLIP.

3. Додаємо в промпт слово-тригер. Щоб LoRA спрацювала, у промпт зазвичай треба додати ключове слово-тригер, яке вказав автор LoRA. Його можна знайти в інформації про модель, поле Trained Words.

Ось, наприклад, ключове слово, яке потрібне для LoRA, щоб створити зображення тієї самої лицарки як 3D-рендер.

ControlNet: як контролювати деталі генерації

ControlNet — це ще одна підключена модель, яка дає змогу зберегти конкретну геометрію (позу персонажа, контури обладунків або 3D-об’єм), повністю змінюючи стиль, матеріали та деталі. Наприклад, якщо вам потрібно зберегти форму спорядження персонажа й по-новому промалювати матеріали, ControlNet допоможе «сказати» це моделі.

Щоб використати ControlNet, потрібен зв’язок між трьома нодами.

1. Load ControlNet Model — модель контролю (наприклад, Depth, Canny або OpenPose). Саму модель також треба завантажити. Багато опцій можна знайти на вже знайомому нам сайті civitai.com.
2. ControlNet Preprocessor — обробляє вхідне зображення й перетворює його на карту контролю (карту глибини, контури або графічний «скелет»). Можна працювати без цієї ноди, якщо завантажити готове зображення / карту контролю зі свого компʼютера.
3. Apply ControlNet — застосовує налаштування до генерації, впливаючи на позитивний і негативний промпти (CONDITIONING).

Варіантів контролю багато, але є основні.

• Depth: створює карту, де світлі ділянки означають об’єкти, розташовані ближче до камери, а темні — далі від неї. Зберігає 3D-об’єм, пропорції та відстані в просторі, але дає моделі свободу перемальовувати деталі й текстури.
• OpenPose: фіксує лише «скелет» персонажа (положення голови, тулуба й кінцівок), повністю ігноруючи одяг, зовнішність та тло.
• Canny / Lineart: зчитує чіткі лінії та детальні межі об’єкта.

Потрібний варіант можна вибрати в налаштуваннях Preprocessor. Я використовую Preprocessor із нод ComfyUI ArtVenture. Щоб установити їх, вам треба відкрити ComfyUI Manager -> Custom Nodes Manager і знайти ComfyUI ArtVenture.

З’являється нода ControlNet Preprocessor, яка може генерувати потрібні карти контролю.

Після додавання нод Load ControlNet Model, ControlNet Preprocessor та Apply ControlNet об’єднуємо зв’язки й можемо генерувати зображення.

Ключовим налаштуванням ноди Apply ControlNet є Strength: що вищий цей параметр, то точніше зберігається задана форма, поза чи контур, тому менше свободи залишається для стилістичних змін.

Ви дізналися про основні можливості програми. Це база, з якою можна впевнено починати працювати з ComfyUI. Якщо опанувати її, далі можна будувати окремі workflow для обличчя та тіла, тренувати власні LoRA під конкретний сетинг і персонажів, працювати з новішими моделями, як-от Flux.

Сподіваюся, цей гайд допоможе вам зробити перші впевнені кроки в ComfyUI. Успіхів в експериментах!

Підписуйтеся на Telegram-канал @gamedev_dou, щоб не пропустити найважливіші статті і новини