Multimodale generative visuelle KI verstehen

Andy, Mitbegründer von Black Force Labs, stellt Flux vor, ihre Modellfamilie für Bildgenerierung und -bearbeitung. Das Unternehmen wurde im August 2024 gegründet und hat die Vision, visuelle Medien zur zentralen Schnittstelle menschlicher Kommunikation zu machen. Black Force Labs sieht sich als Infrastrukturanbieter für die Ermöglichung dieser visuellen Interaktionen. Seit der Gründung ist das Unternehmen auf 45 Mitarbeiter an zwei Standorten in Freiburg und San Francisco angewachsen. Die Flux-Modellfamilie wird seit ihrer Veröffentlichung kontinuierlich weiterentwickelt.

Der Sprecher erläutert die drei Stufen der Flux-Modelle: Pro-Modelle für höchste Leistung und Geschwindigkeit über APIs, Dev-Modelle mit offenen Gewichten für Experimente und Anpassungen, sowie Schnell-Modelle als Open Source Einstiegspunkt. Black Force Labs hat starke Open-Source-Wurzeln, da die Gründer auch die ursprünglichen Entwickler von Stable Diffusion sind. Das Flux Dev-Modell ist bereits das größte Einzelmodell auf Hugging Face und hat sich als Standard für die offene Bildgenerierung etabliert. Das Unternehmen plant, seine Verbreitung weiter auszubauen.

Dieser Abschnitt taucht in Flux Context ein, das neueste Modell, das Text-zu-Bild-Generierung und -bearbeitung vereint. Bildbearbeitung wird als entscheidender Anwendungsfall hervorgehoben, der die Iteration und präzise Modifikation bestehender Bilder ermöglicht und ein zusätzliches Maß an Kontrolle bietet. Flux Context, im Juni 2025 veröffentlicht, kombiniert Funktionen wie Charakterkonsistenz, Stilreferenz und lokale Bearbeitung in nahezu Echtzeit. Beispiele zeigen, wie Objekte entfernt, Charaktere in neue Kontexte gesetzt und Szenarien geändert werden können, ohne aufwendiges Fine-Tuning. Es löst auch Geschäftsprobleme wie die schnelle Erstellung von Produktfotos aus 'in-the-wild'-Bildern oder das Rendern von Skizzen.

Der Sprecher erklärt die konzeptionellen Unterschiede zwischen der klassischen Text-zu-Bild-Pipeline und der Bildbearbeitung. Bei der Text-zu-Bild-Generierung wird ein Text-Prompt in ein Bild umgewandelt. Die Bildbearbeitung hingegen beginnt mit einem Eingabebild und einer Textanweisung für eine spezifische Änderung, wobei bestimmte Teile des Bildes unverändert bleiben sollen. Die Vereinigung dieser beiden Aufgaben in einem einzigen Modell, wie Flux Context, bietet eine viel größere Flexibilität, da Bilder generiert und anschließend bearbeitet werden können. Dies eliminiert die Notwendigkeit des aufwendigen Fine-Tunings, das zuvor für solche Kontrollmöglichkeiten erforderlich war, und reduziert die Zeit für gute Ergebnisse erheblich.

Der erste Teil des Latent Flow Matching-Algorithmus konzentriert sich auf den 'latenten' Aspekt, der aus der latenten generativen Modellierung stammt. Anhand des Beispiels von JPEG- und PNG-Dateien wird erklärt, dass Bilder viele Informationen enthalten, die für das menschliche Auge nicht wahrnehmbar sind. Das Training generativer Modelle direkt im Pixelraum auf all diesen hochfrequenten Details wäre eine Verschwendung von Rechenleistung. Stattdessen wird ein Kompressionsmodell (Autoencoder) trainiert, um einen niederdimensionalen, perzeptuell äquivalenten 'latenten Raum' zu extrahieren. Ein Diskriminator-Verlust stellt dabei sicher, dass nur die für unsere menschlichen Augen relevanten Details in dieser latenten Repräsentation widergespiegelt werden.

Der zweite Teil des Algorithmus, 'Flow Matching', erklärt, wie Modelle im latenten Raum trainiert werden, um von einer einfachen Standardnormalverteilung zu komplexen Datenverteilungen natürlicher Bilder zu übersetzen. Der Flow Matching-Algorithmus trainiert ein neuronales Netzwerk, um ein Vektorfeld darzustellen, das diese Transformation ermöglicht. Während des Trainings werden Stichproben aus der Normalverteilung mit Datenstichproben gekoppelt, um Vektoren zu konstruieren, die sie linear verbinden. Das Netzwerk wird darauf konditioniert, diese Vektoren vorherzusagen, was zu einem 'wahren' Vektorfeld führt, in dem sich Pfade nicht kreuzen. Beim Sampling wird von einer Standardnormalverteilung ausgegangen und entlang dieser Trajektorien integriert, um zur gewünschten Datenstichprobe im latenten Raum zu gelangen, die dann dekodiert wird.

Dieser Abschnitt beschreibt die grundlegende Architektur von Flux Context, einem Transformer-Modell. Die Eingabe besteht aus Text-Tokens, die von einem Text-Encoder erzeugt werden, und visuellen Tokens, die von einem Bild-Encoder stammen. Für die Bildbearbeitung gibt es zwei Sätze visueller Tokens: einen für die Generierung des Ausgabebildes und einen weiteren für das Kontext- oder Referenzbild. Das Modell verwendet spezielle 'Double Stream Blocks', die visuelle und Text-Tokens größtenteils separat verarbeiten, aber die Aufmerksamkeitsoperation gemeinsam über alle Tokens ausführen. Diese flexible Architektur ermöglicht es, je nach Bedarf entweder ein Eingabebild für die Bearbeitung bereitzustellen oder es für die reine Text-zu-Bild-Generierung wegzulassen.

Der Sprecher erklärt, wie Flux-Modelle ihre beeindruckende Geschwindigkeit erreichen, die um Größenordnungen schneller ist als vergleichbare Modelle. Der Schlüssel dazu ist der Algorithmus Adversarial Diffusion Distillation (ADD), der darauf abzielt, die Anzahl der numerischen Integrationsschritte von typischerweise 50 auf nur vier zu reduzieren. Die ursprüngliche ADD-Methode trainierte einen 'Schüler' (4 Schritte) gegen einen 'Lehrer' (50 Schritte) unter Verwendung von Destillations- und Diskriminatorverlusten. Um den hohen Rechenaufwand zu reduzieren, wurde ein latenter ADD-Ansatz entwickelt, der alle Operationen in den latenten Raum verlagert, Encoder/Decoder eliminiert und den Lehrer selbst als Diskriminator nutzt. Dies führt zu einer speichereffizienten 12,5-fachen Beschleunigung.

Eine Live-Demo veranschaulicht die Fähigkeiten von Flux Context anhand eines Logos des SC Freiburg. Der Sprecher demonstriert, wie das Modell das Logo auf ein T-Shirt platziert, dessen Größe und Position anpasst und die Farbe des T-Shirts ändert, während die Konsistenz des Logos erhalten bleibt. Anschließend wird das T-Shirt auf einen Mann in einem Park übertragen und der Stil des Bildes in ein Aquarellgemälde umgewandelt. Die Demo unterstreicht die Vielseitigkeit des Modells, das verschiedene Aufgaben kombiniert, für die früher separates Fine-Tuning erforderlich gewesen wäre. Abschließend wird die Bedeutung für Geschäftsanwendungen, insbesondere im Marketing, hervorgehoben und auf offene Stellen sowie die frei verfügbare Demo hingewiesen.