Понимание мультимодального генеративного визуального ИИ

Спикер Энди, сооснователь Black Force Labs, начинает презентацию с обзора своей компании, основанной в августе 2024 года. Он представляет видение Black Force Labs как центрального поставщика инфраструктуры для визуальных медиа, которые станут ключевым интерфейсом человеческого общения. Компания, насчитывающая 45 сотрудников, имеет офисы во Фрайбурге (Германия) и Сан-Франциско. С момента основания Black Force Labs выпускает семейство моделей Flux в трех уровнях: Pro (сверхмощные, через API), Dev (с открытым исходным кодом, настраиваемые) и Schnell (полностью открытый исходный код, точка входа). Модель Flux Dev уже стала стандартом для открытой генерации изображений, являясь самой крупной экосистемой на Hugging Face.

Основное внимание переключается на Flux Context, новейшую модель, которая объединяет генерацию изображений из текста и их редактирование. Спикер подчеркивает критическую важность редактирования изображений для итераций и точного контроля, отмечая, что до этого года оно не развивалось так быстро, как генерация. Flux Context, выпущенная в июне 2025 года, представляет собой переломный момент, предлагая такие возможности, как согласованность персонажей, перенос стиля и локальное редактирование со скоростью, близкой к реальному времени (около четырех секунд). Примеры включают удаление объектов, изменение контекста с сохранением персонажа и перенос стиля, что устраняет необходимость в трудоемкой тонкой настройке. Модель также демонстрирует значительную бизнес-ценность, позволяя мгновенно создавать продуктовые снимки или полностью отрисованные изображения из эскизов.

Спикер переходит к техническим деталям, сравнивая конвейеры генерации текста в изображение и редактирования, чтобы показать, как Flux Context объединяет эти задачи. Затем он представляет алгоритм Latent Flow Matching, начиная с аспекта "Латентное", который основан на латентном генеративном моделировании. Используя аналогию с JPEG и PNG, объясняется, что большая часть информации в изображении не воспринимается человеческим глазом, и моделирование этих высокочастотных деталей является неэффективным. Поэтому модель сжатия (автокодировщик) извлекает низкоразмерное латентное пространство, а функция потерь дискриминатора гарантирует, что в этом представлении остаются только перцептивно важные детали. Это латентное пространство становится основой для обучения генеративной модели, обеспечивая перцептивно эквивалентное, но более компактное представление.

Далее объясняется аспект "Сопоставление потоков" алгоритма Latent Flow Matching, который работает в ранее описанном латентном пространстве. Этот алгоритм позволяет преобразовывать очень простое распределение (стандартное нормальное) в сложное распределение данных естественных изображений, обучаясь векторному полю, которое отображает точки между этими двумя распределениями. Во время обучения модель учится предсказывать векторы, соединяющие образцы из нормального распределения с обучающими примерами, при этом алгоритм гарантирует, что пути в истинном векторном поле не пересекаются. Для генерации изображений модель сэмплируется путем интегрирования вдоль этих траекторий с использованием численных схем, таких как алгоритм Эйлера, что позволяет получить образец данных, который затем декодируется в пиксельное пространство. Изначально этот процесс требует до 50 шагов интегрирования, что делает его довольно медленным.

Спикер подробно описывает архитектуру Flux Context, которая представляет собой модель-трансформер с уникальными блоками двойного потока, обрабатывающими текстовые и визуальные токены. Для редактирования модель принимает как текстовый запрос, так и контекстное изображение, а для генерации — только текст. Ключевым элементом, обеспечивающим высокую скорость Flux Context, является алгоритм Adversarial Diffusion Distillation (ADD), разработанный для сокращения количества шагов численного интегрирования с 50 до всего лишь четырех. Это достигается путем обучения "ученической" модели воспроизводить качество "учительской" модели за значительно меньшее количество шагов, используя потери дистилляции и дискриминатора. Усовершенствованный подход Latent Adversarial Diffusion Distillation (LADD) еще больше оптимизирует процесс, перемещая все в латентное пространство и используя учительскую модель в качестве дискриминатора, что приводит к впечатляющему 12.5-кратному ускорению и позволяет генерировать реалистичные изображения за секунды.

Завершающая часть презентации посвящена живой демонстрации модели Flux Context, подчеркивающей ее универсальность и скорость. Спикер демонстрирует редактирование логотипа футбольного клуба на футболке: сначала размещает логотип, затем уменьшает его размер и меняет цвет футболки на красный, сохраняя при этом согласованность объекта. Далее он показывает более сложную трансформацию, помещая футболку на мужчину, идущего в парке, что ранее было невозможно для стандартных инструментов. Демонстрация завершается переносом стиля, превращая изображение в акварельную картину. Эти примеры наглядно показывают, как Flux Context объединяет множество задач редактирования и генерации в одной модели, устраняя необходимость в отдельных тонких настройках и значительно упрощая рабочий процесс.