Inkling: 파인튜닝을 위해 태어난 오픈 웨이트 모델

하이라이트

• Thinking Machines가 출시한 9,750억 파라미터 규모의 오픈 웨이트 모델 Inkling은 허깅 페이스에서 아파치 2.0 라이선스로 제공됩니다.

• Inkling은 텍스트 변환 과정 없이 오디오를 스펙트로그램 형태로, 이미지를 40x40 픽셀 패치로 직접 입력받아 데이터 손실을 최소화합니다.

• LoRa 기술을 사용하여 모델 전체를 재학습하지 않고 가볍고 작은 행렬을 주입하는 방식으로 사후 학습 비용과 속도를 대폭 개선합니다.

• Harvey의 법률 문서 인용구 추출 작업에서 소형 파인튜닝 모델은 F1 점수가 0.56에서 0.68로 상승했으며 GPT-4o와의 맞대결에서 93%의 확률로 우세하거나 동등한 결과를 기록했습니다.

• Inkling은 Tinker 플랫폼에서 0에서 1 사이의 전체 슬라이더를 통해 사고 강도를 정밀하게 설정할 수 있는 기능을 제공합니다.

타임라인

1. 00:00 - 01:21

   Inkling 모델 개요와 구조

   전직 OpenAI CTO 미라 모레티가 설립한 스타트업이 출시한 이 모델은 특정 목적에 맞게 세밀하게 조정되는 파인튜닝에 최적화되어 있습니다. 출시 게시글을 통해 범용 모델보다 강력하지 않다는 점을 솔직히 밝히며 기대치를 조절했습니다. 내부 구조는 전문가 혼합(MoE) 방식을 채택하여 효율성을 높였습니다.

   • Thinking Machines는 첫 번째 모델인 9,750억 파라미터 규모의 Inkling을 아파치 2.0 라이선스로 허깅 페이스에 공개했습니다.
   • 일반 범용 모델만큼 강력하지는 않으며 지시 이행 능력은 우수하지만 스스로 문제를 해결하는 터미널 벤치에서는 다소 뒤처집니다.
   • 총 9,750억 개의 파라미터 중 각 토큰은 256개의 전문가 중 6개에만 전달되어 어떤 시점이든 약 410억 개만 실제로 작동합니다.
2. 01:41 - 02:45

   멀티모달 데이터 처리 방식

   기존 모델들은 오디오나 이미지를 처리할 때 별도의 인코더를 거쳐 텍스트로 변환한 뒤 언어 모델에 전달하는 방식을 사용합니다. 이 과정에서 피할 수 없는 데이터 손실이 발생합니다. 반면 Inkling은 원시 주파수 대역과 이미지 패치를 직접 처리하여 차별화된 멀티모달 성능을 제공합니다.

   • Inkling은 기존 모델들과 달리 텍스트 변환 과정을 거치지 않고 오디오를 스펙트로그램 형태로 직접 입력받습니다.
   • 이미지 역시 40x40 픽셀 패치로 직접 입력되어 텍스트 토큰과 동일한 공간에 배치됩니다.
   • 데이터가 압축되거나 뭉개지지 않아 오디오와 시각 자료 처리 과정에서 발생하는 데이터 손실을 크게 줄입니다.
3. 02:45 - 04:29

   파인튜닝의 효용성과 활용 사례

   새로운 정보를 학습시키는 용도로는 검색(RAG) 방식이 더 우수하며 추론 능력을 원할 때는 파인튜닝이 역효과를 낼 수 있습니다. 그러나 좁은 업무 영역에서는 훌륭한 결과를 냅니다. Tinker 플랫폼을 통해 완전 자동화된 방식으로 파인튜닝 프로세스를 실행할 수 있으며 모델 전체를 다시 학습시키는 대신 효율적인 저랭크 적응 방식을 사용합니다.

   • 파인튜닝은 새로운 지식을 주입하는 것이 아니라 대답하는 방식, 어조, 엄격한 구조화된 출력을 가르치는 데 유용합니다.
   • 법률 AI 도구를 만드는 Harvey는 소형 모델 파인튜닝을 통해 F1 점수가 0.56에서 0.68로 상승했습니다.
   • LoRa 기술을 활용해 기존 가중치를 고정하고 작은 행렬만 주입함으로써 파인튜닝 비용과 속도 문제를 해결합니다.
4. 04:29 - 06:30

   Inkling의 차별점과 활용 가이드

   Inkling은 음성 인식과 말하기 스타일을 분류하는 쿡북 레시피를 제공하여 말의 내용뿐만 아니라 전달 방식까지 파악합니다. 사고 강도를 미세하게 조절할 수 있는 기능을 통해 작업 성격에 맞춘 최적화가 가능합니다. 오디오 입력이 필수적인 특정 작업 환경에서 매우 유용한 도구로 기능합니다.

   • Inkling은 Tinker 상의 여러 오픈 모델 중 유일하게 원시 사운드를 직접 처리할 수 있는 모델입니다.
   • Inkling은 0에서 1 사이의 슬라이더를 제공하여 모델의 사고 강도를 정밀하게 설정할 수 있습니다.
   • 순정 상태 그대로 사용하기보다는 좁고 대량인 업무를 처리하고 평가 방법이 있는 경우 파인튜닝용으로 강력한 선택지입니다.