기업이 직접 자체 AI 모델을 학습시켜야 하는 이유 - 윌 브라운(프라임 인텔렉트)

Highlights

• 페이퍼 인스트루먼츠는 스프레드시트와 슬라이드 같은 지식 업무 영역에서 파레토 최적에 가까운 자체 모델을 학습시키는 데 30만 달러를 소모했다.

• 조직 내에서 문서화되지 않은 암묵적 지식과 비효율성은 방대한 텍스트 데이터를 분석하는 에이전트를 통해 수면 위로 드러난다.

• 낮 동안 에이전트 서빙에 쓰이던 추론 용량은 야간에 모델 학습에 활용되어 조직의 지속적 학습을 지원한다.

• 코드베이스와 달리 선호도, 마찰 요소, 휴리스틱 같은 조직의 특성은 코드가 아닌 데이터 형태로 모델에 내재화되어야 한다.

Timeline

1. 00:00 - 04:32

   기업의 AI 도입 단계와 조직 지식의 성격

   인공지능 기술의 발전 속도가 빨라지면서 조직 전체의 라이프사이클에 에이전트가 깊숙이 통합되는 미래가 다가오고 있다. 오랜 역사와 체계를 가진 기업일수록 문서로 명시되지 않은 암묵적인 지식과 비효율적인 요소들이 존재하며, 이는 개인의 머릿속이나 이메일의 행간에 숨겨져 있다. 에이전트는 이러한 구조화되지 않은 방대한 텍스트 데이터를 탐색하여 조직 내 비효율을 찾아내고 개선점을 도출하는 데 탁월한 능력을 발휘한다.

   • AI 기술은 챗봇과 추론 모델 단계를 거쳐 대규모 엔터프라이즈의 에이전트 통합 단계로 빠르게 진화하고 있다.
   • 조직의 업력이 오래될수록 문서화되지 않은 암묵적 지식과 비효율성이 증가한다.
   • 이메일, 프로세스, 코드베이스 등 구조화되지 않은 방대한 데이터 속에는 실제 의사결정 패턴이 담겨 있다.
2. 04:32 - 11:10

   인컨텍스트 학습의 한계와 모델 가중치 학습의 필요성

   현재 에이전트들이 업무를 학습하는 인컨텍스트 방식은 스킬 파일이나 코드베이스를 참조하는 원시적인 형태에 머물러 있어 입력 토큰을 심각하게 낭비하게 만든다. 규칙이나 스킬은 코드로 작성하기 수월하지만 선호도나 휴리스틱 같은 요소들은 데이터에 가깝기 때문에 모델 자체의 가중에 녹여내야 한다. 외부 전문가의 지식을 거쳐 연구원들에게 전달되는 기존의 폐쇄적인 학습 파이프라인 대신, 일상적인 업무 속에서 실무자가 직접 피드백을 제공하는 간극 좁히기가 필요하다.

   • 에이전트가 스킬 파일을 읽거나 코드베이스를 살펴보는 인컨텍스트 학습은 토큰 낭비와 반복적인 재학습을 유발한다.
   • 조직 내 선호도와 마찰 요인은 코드가 아니라 데이터 형태로 존재하며 모델의 가중에 반영되어야 한다.
   • 기존의 외부 전문가에 의존하는 모델 학습 파이프라인은 복잡하고 폐쇄적이다.
3. 11:10 - 20:06

   지속적 학습 파이프라인과 동적 UI를 통한 피드백

   소프트웨어 개발에서 테스트 케이스를 통해 코드베이스를 건전하게 관리하듯, 에이전트의 트레이스와 피드백을 모아 평가 자산을 축적할 수 있다. 에이전트가 실시간으로 생성하는 동적 위젯 카드는 긴 메시지 스레드를 읽는 번거로움을 없애고 인간의 명확한 의사결정 라벨을 수집하는 훌륭한 인터페이스가 된다. 낮 동안 에이전트를 서빙하고 남은 추론 용량을 야간 학습에 활용함으로써, 조직은 시간이 지날수록 역량이 향상되는 자기 개선형 AI 모델을 운영할 수 있다.

   • 모델 학습은 소프트웨어 개발의 테스트 케이스와 평가 시스템을 다루는 방식과 유사하게 구축될 수 있다.
   • 에이전트가 즉석에서 생성하는 동적 UI 위젯 카드는 복잡한 스레드 대신 명확한 인간의 결정을 유도한다.
   • 낮에는 에이전트를 서빙하고 밤에는 모델을 학습시키는 순환 구조를 통해 조직은 지식을 복리로 축적한다.