Stable Diffusion

Что такое Stable Diffusion?

Stable Diffusion — семейство моделей генерации изображений британской компании Stability AI Ltd. Первая версия вышла в августе 2022 года; по данным компании, модели семейства скачали более 350 миллионов раз. Ключевое отличие от закрытых генераторов — веса публикуются официально, поэтому модель можно скачать и запустить в собственном окружении, а не только обращаться к чужому облаку.

Какие модели входят в семейство

• Stable Diffusion 3.5 Large — старшая модель линейки, максимальное качество и следование промпту
• Stable Diffusion 3.5 Large Turbo — ускоренная версия Large
• Stable Diffusion 3.5 Medium — баланс качества и возможностей дообучения
• Stable Diffusion XL (SDXL) — модель на 3,5 млрд параметров
• SDXL Turbo — дистиллированная версия SDXL на технологии Adversarial Diffusion Distillation

Веса опубликованы в верифицированной организации stabilityai на Hugging Face — это официальный канал распространения моделей.

Официальные инструменты редактирования

Помимо генерации по тексту Stability AI отдаёт отдельные инструменты обработки:

• Редактирование — Inpaint (дорисовка внутри кадра), Outpaint (расширение за границы кадра), Erase Object (удаление объекта), Remove Background (удаление фона), Search and Recolor (перекраска по текстовому запросу), Search and Replace (замена объекта по описанию), Replace Background and Relight (замена фона с пересветом сцены)
• Апскейл — три режима: Creative, Conservative и Fast
• Контроль результата — Sketch (генерация по эскизу), Structure (сохранение структуры исходника), Style (перенос стиля с референса)

Как устроено лицензирование

Community License бесплатна и покрывает исследователей, разработчиков, небольшие компании и авторов, чья организация зарабатывает менее 1 млн долларов в год. В неё входят Stable Diffusion 3.5, SDXL Turbo, а также Stable Audio 3.0 и Stable Fast 3D. При годовой выручке свыше 1 млн долларов нужна Enterprise License: она включает права на коммерческое использование и поддержку внедрения, стоимость обсуждается индивидуально. Дополнительно доступны обучение кастомных моделей и консалтинг.

Способы запуска

• Self-hosted — развёртывание в своей инфраструктуре: данные и результаты остаются под контролем компании
• Platform API — облачный API Stability AI без собственного железа, оплата за генерацию, скидки на объёме
• Облачные платформы партнёров — Amazon Bedrock, Amazon SageMaker JumpStart и Microsoft Azure AI Foundry
• Brand Studio — управляемая платформа творческого производства для корпоративных команд

Экосистема сообщества

Открытые веса породили большой пласт сторонних инструментов, которые Stability AI не разрабатывает и не поддерживает: графические оболочки ComfyUI и Automatic1111 WebUI, дообученные модели и LoRA-адаптеры из каталогов CivitAI и Hugging Face, расширение ControlNet для управления композицией и позой. Именно поэтому Stable Diffusion выбирают там, где нужен свой стиль и свой пайплайн, а не готовый результат из коробки. Обратная сторона — вопросы по этим инструментам решает сообщество, а не техподдержка вендора.

Кастомные модели под отрасль

Отдельное направление — обучение моделей на данных заказчика. Stability AI описывает работу в три шага: исследование данных и поиск сценариев, обучение модели с пилотным воркфлоу, затем production-развёртывание с кастомными API. Заявленные отрасли — автомобильная (синтетические данные для автономных систем), медицина (работа с медицинскими изображениями), строительство (поиск дефектов и автоматизация инспекций) и индустрия развлечений (продакшен и VFX).

Для кого подходит

• Разработчики — встраивание генерации в свои продукты через API или локально
• Дизайнеры и иллюстраторы — концепты с контролем композиции и стиля
• Маркетинг — брендовые креативы под кампании
• Геймдев и кинопроизводство — раскадровки, ассеты, работа над финальным монтажом
• AI-исследователи — эксперименты с весами и дообучение под свою задачу