멀티모달 생성형 시각 AI 이해하기

하이라이트

• Black Force Labs의 Flux는 이미지 생성 및 편집을 위한 모델 제품군으로, 프로, 오픈 소스(Flux Dev), 오픈 소스(Flux Schnell)의 세 가지 계층으로 제공됩니다.

• Flux Context는 텍스트-이미지 생성과 이미지 편집 기능을 하나의 모델에 통합하여 캐릭터 일관성, 스타일 참조, 로컬 편집 등을 실시간에 가까운 속도로 가능하게 합니다.

• 이 모델은 기존 이미지의 반복적인 수정과 정밀한 제어를 가능하게 하여, 제품 사진 생성이나 스케치 렌더링과 같은 비즈니스 문제 해결에 탁월합니다.

• Flux 모델은 지각적으로 중요하지 않은 정보를 제거한 저차원 잠재 공간에서 작동하는 Latent Flow Matching 알고리즘을 기반으로 훈련되어 효율성을 높입니다.

• 모델의 빠른 속도는 수치 적분 단계를 50단계에서 4단계로 줄여 12.5배의 속도 향상을 달성한 Adversarial Diffusion Distillation (ADD) 및 Latent Adversarial Diffusion Distillation (LADD) 알고리즘 덕분입니다.

• Flux Context는 단일 텍스트 인터페이스를 통해 로고 삽입, 크기 조정, 색상 변경, 배경 전환, 스타일 전송 등 다양한 복합 이미지 편집 작업을 수행할 수 있음을 데모를 통해 보여줍니다.

타임라인

1. 00:00 - 03:30

   회사 소개 및 Flux 모델 개요

   Black Force Labs의 공동 창립자 앤디는 이미지 생성 및 편집 모델 제품군인 Flux를 소개합니다. 회사는 2024년 8월에 설립되어 시각 미디어가 미래 소통의 중심이 될 것이라는 비전을 가지고 있으며, 카메라가 포착할 수 있는 것을 넘어선 핵심 인프라를 제공하고자 합니다. Flux는 강력하고 빠른 '프로 모델', 공개적으로 다운로드 가능한 'Flux Dev' (오픈 소스), 그리고 생태계 진입점인 'Flux Schnell'의 세 가지 계층으로 구성되어 있습니다. 특히 Flux Dev는 Hugging Face에서 가장 큰 생태계를 형성하며 개방형 이미지 생성의 표준이 되고 있음을 강조합니다.

2. 03:30 - 06:15

   Flux Context: 통합 생성 및 편집 모델

   강연의 핵심 주제인 Flux Context 모델이 소개됩니다. 이 모델은 텍스트-이미지 생성과 이미지 편집 기능을 통합한 최신 버전으로, 2025년 6월에 출시되었습니다. 연사는 이미지 편집이 기존 이미지의 반복적인 수정과 정밀한 제어를 가능하게 하는 매우 중요한 사용 사례임을 강조합니다. Flux Context는 캐릭터 일관성, 스타일 참조, 로컬 편집 등 편집에 필요한 모든 기능을 거의 실시간 속도로 결합하여, 과거에 많은 미세 조정이 필요했던 작업을 4초 만에 수행할 수 있게 합니다.

3. 06:15 - 08:48

   비즈니스 적용 및 모델 파이프라인

   Flux Context가 실제 비즈니스 문제를 어떻게 해결하는지 구체적인 예시를 통해 설명합니다. 예를 들어, 실제 이미지에서 치마를 추출하여 몇 초 만에 제품 사진을 만들거나, 스케치에서 완전히 렌더링된 결과물을 얻는 것이 가능해졌습니다. 이는 이전에는 몇 시간, 며칠이 걸리거나 불가능했던 작업입니다. 모델 파이프라인 측면에서, 텍스트-이미지 생성은 텍스트 프롬프트만으로 이미지를 만들고, 이미지 편집은 입력 이미지와 변경 지시를 통해 이미지를 수정하는 방식으로 작동합니다. 이 두 가지를 단일 모델로 결합함으로써 이미지를 생성한 후 편집하는 유연성을 제공하며, 미세 조정 없이 즉시 작업을 수행할 수 있어 시간을 크게 단축시킵니다.

4. 08:48 - 18:09

   잠재 플로우 매칭(Latent Flow Matching) 알고리즘

   Flux 모델이 어떻게 훈련되는지 핵심 알고리즘인 '잠재 플로우 매칭'에 대해 깊이 있게 설명합니다. 이 알고리즘은 '잠재(Latent)'와 '플로우 매칭(Flow Matching)'의 두 가지 주요 측면으로 구성됩니다. '잠재' 부분은 JPEG와 PNG 이미지의 파일 크기 비교를 통해 인간의 눈으로 인지할 수 없는 많은 정보가 이미지에 존재함을 보여주며, 생성 모델을 픽셀 공간 대신 저차원의 '잠재 공간'에서 훈련하여 컴퓨팅 자원 낭비를 줄이는 개념을 설명합니다. '플로우 매칭' 부분은 간단한 분포에서 복잡한 데이터 분포로 변환하는 벡터 필드를 훈련하는 방법을 제시하며, 텍스트 입력을 기반으로 이미지를 생성하기 위해 이 네트워크를 텍스트 입력에 조건화하는 과정을 상세히 다룹니다.

5. 18:09 - 26:45

   Flux Context 아키텍처 및 속도 최적화

   Flux Context의 트랜스포머 기반 아키텍처와 모델의 놀라운 속도 비결을 설명합니다. 모델은 텍스트 인코더의 텍스트 토큰과 이미지 인코더의 시각 토큰(생성용 및 컨텍스트 참조용)을 입력으로 받아 이중 스트림 블록을 통해 처리합니다. Flux 모델이 비교 가능한 모델보다 10배에서 20배 이상 빠른 이유는 '적대적 확산 증류(Adversarial Diffusion Distillation, ADD)' 알고리즘 덕분입니다. 이 알고리즘은 표준 플로우 매칭 모델의 50단계 수치 적분 과정을 4단계로 줄여 속도를 크게 향상시킵니다. 또한, '잠재 적대적 확산 증류(Latent Adversarial Diffusion Distillation, LADD)'를 통해 모든 과정을 잠재 공간으로 옮겨 오버헤드를 줄이고, 교사 모델을 판별자로 활용하여 메모리 효율성을 높여 12.5배의 속도 향상을 달성했습니다.

6. 26:45 - 31:32

   Flux Context 라이브 데모 및 결론

   연사는 Flux Context의 강력한 이미지 편집 기능을 라이브 데모를 통해 시연합니다. SC 프라이부르크 축구 클럽 로고를 티셔츠에 삽입하고, 로고 크기를 조정하며, 티셔츠 색상을 빨간색으로 변경하는 로컬 편집을 보여줍니다. 이 과정에서 객체 일관성이 유지됨을 강조합니다. 이어서, 티셔츠를 입은 남자를 공원에 배치하는 복잡한 배경 전환과 이미지를 수채화 스타일로 바꾸는 스타일 전송 기능까지 선보입니다. 이 모든 작업이 단일 모델에서 통합되어 수행될 수 있음을 보여주며, 과거에 각 작업마다 개별적인 미세 조정이 필요했던 것과 비교하여 모델의 일반성과 효율성을 강조하며 강연을 마무리합니다.