90% побед: Google показала «руль» для генератора картинок

Поправлять движение по дороге

Диффузионный генератор постепенно превращает шум в изображение. Авторы предлагают рассматривать этот процесс как задачу управления: в ходе генерации делать поправки, которые приближают результат к нужному условию и одновременно ограничивают отклонение от поведения исходной модели.

Лёгкая дополнительная сеть может работать поверх замороженной основы. В препринте эксперименты проведены на Stable Diffusion v1.4. Это конкретная исследовательская установка; её результаты нельзя автоматически переносить на любой популярный сервис.

Удобная бытовая аналогия — править курс велосипеда. Поворот руля нужен, но слишком резкое движение способно испортить всю поездку. В изображении роль этой неприятности играют артефакты, потеря деталей или разрушенная композиция.

Где спрятана оговорка к 90%

Google сообщает о 90% побед над базовой моделью у варианта с полным доступом к внутренним весам — white-box. Лёгкий контроллер поверх замороженного ядра и этот полностью открытый для изменения вариант нужно различать.

Процент относится к сравнительной оценке предпочтений. Из него нельзя вывести, что генератор выполняет 90% любых просьб без ошибок, а закрытая модель станет настолько же лучше после установки одной добавки.

Для практической работы полезнее задать свой набор задач: сохранить внешний вид товара, поместить конкретный объект в нужное место, выдержать композицию. Затем сравнивать варианты одинаковым способом. Просто выбрать несколько особенно красивых картинок — слишком лёгкий экзамен.

Сначала метод, потом продукт

Цена, сроки появления в потребительских приложениях и доступность для конкретного аккаунта в источнике не объявлены. Покупать подписку какого-либо генератора в расчёте именно на Diffusion Controller сейчас рано.