AI의 가장 큰 결점을 해결하는 오픈소스 모델 (ThinkingCap)

하이라이트

• 보틀캡 AI가 개발한 띵킹 캡은 Qwen 3.6 270억 파라미터 모델을 기반으로 추론 토큰 소모량을 줄이도록 미세 조정된 오픈소스 모델입니다.

• 띵킹 캡은 무작위로 추론을 끊는 방식이 아니라 효율성에 대해 명시적으로 보상하는 훈련을 거쳐 정확도를 유지합니다.

• 도메인 외 벤치마크 테스트에서 띵킹 캡은 평균 45.8% 적은 추론 토큰을 소모하면서 정확도는 1퍼센트 미만으로 유지했습니다.

• GSM 8K 벤치마크에서는 정확도가 기존 93.3%에서 96.5%로 오히려 상승했습니다.

• 수학 문제(n 팩토리얼 끝자리 0이 100개가 되게 하는 n) 테스트에서 기본 모델은 140초가 소요된 반면, 띵킹 캡은 훨씬 적은 시간과 2,000개 미만의 토큰으로 정답 405를 도출했습니다.

• 허깅 페이스에 아파치 2.0 라이선스로 무료 공개되어 있습니다.

타임라인

1. 00:00 - 03:40

   추론 모델의 토큰 낭비 문제

   동일한 질문을 던졌을 때 한쪽은 이미 작업을 완료했음에도 다른 쪽은 불필요하게 긴 추론 과정을 거치며 토큰을 소모합니다. 2020년 GPT-3를 시작으로 발전해 온 언어 모델들은 2024년 o1의 등장으로 답변 전 사고 모드를 도입했습니다. 그러나 이 변화는 모델이 스스로 사고를 중단하는 시점을 알지 못해 생기는 새로운 비효율성을 낳았습니다. 단순한 인사말에도 수많은 토큰을 소비하며 동일한 논리를 반복하는 현상은 기존 추론 모델의 구조적 결함을 보여줍니다.

   • 기존의 대규모 언어 모델들은 즉시 답변을 내놓는 구조였으나, 2024년 9월 OpenAI o1 이후 사고 모드를 거치는 추론 모델 시대로 전환되었습니다.
   • 추론 모델들은 언제 생각을 멈춰야 하는지 학습하지 못해 간단한 질문에도 수천 개의 토큰을 낭비하거나 무한 루프에 빠집니다.
   • Step 3.5 Flash 모델에 단 한 단어인 '안녕하세요'를 입력했을 경우, 자기 소개와 날짜 언급 여부를 두고 여러 문단에 걸쳐 불필요한 토큰을 소모합니다.
2. 03:40 - 05:25

   띵킹 캡의 작동 원리와 미세 조정 방식

   추론 과정을 강제로 중간에 끊어버리면 토큰 수는 줄어들지만 오답률이 높아집니다. 보틀캡 AI는 이 문제를 해결하기 위해 다양한 난이도의 문제 세트로 모델을 훈련하면서 '효율적으로 정답을 맞힌 것'에 보상을 부여했습니다. 이 방식을 통해 모델은 장황하게 떠드는 대신 답변 확정에 필요한 정보를 얻은 시점을 스스로 인식하게 됩니다. 모델의 성격이나 안전 관련 행동을 건드리지 않고 오직 연산 소모량만 최적화하는 데 집중했습니다.

   • 유럽의 스타트업 보틀캡 AI는 270억 개 파라미터를 가진 Qwen 3.6 모델을 기반으로 띵킹 캡을 개발했습니다.
   • 정답 여부뿐만 아니라 효율성에 대해서도 명시적으로 보상하여 모델이 충분한 정보를 인식한 시점에서 일찍 멈추도록 훈련했습니다.
   • 단순히 정해진 토큰 수 이후에 무조건 끊어버리는 방식은 오답률을 높이기 때문에, 엔지니어링의 핵심은 정확도를 유지하면서 답변을 단축하는 것입니다.
3. 05:25 - 10:26

   성능 벤치마크 결과 및 실전 테스트

   숫자로 증명된 성능은 매우 명확합니다. 도메인 외 벤치마크에서는 토큰이 45.8% 감소했으며, 학습 도메인에서는 58% 가까이 줄었습니다. GSM 8K 벤치마크에서는 정확도가 93.3%에서 96.5%로 상승하기도 했습니다. 실제 하드웨어 테스트에서 수학 문제의 정답인 405를 도출할 때, 기본 모델은 2분이 넘는 시간과 과도한 추론 토큰을 소모한 반면 띵킹 캡은 훨씬 빠른 속도와 적은 토큰으로 동일한 정답을 기록했습니다. 버그로 인해 최종 답변까지 짧아진 버전이 우연히 출시되었으나 인간의 압축 성향과 맞아떨어져 좋은 반응을 얻었습니다.

   • 학습 데이터에 포함되지 않은 도메인 외 벤치마크에서 띵킹 캡은 추론 토큰을 평균 45.8% 줄였고, 정확도는 1퍼센트 미만으로 유지했습니다.
   • RTX 5090 머신에서 진행된 수학 문제 테스트에서 기본 Qwen 3.6은 140초 동안 7,000개가 넘는 토큰을 소모한 반면, 띵킹 캡은 2,000개 미만의 토큰으로 정답을 도출했습니다.
   • 현재 띵킹 캡은 허깅 페이스에 아파치 2.0 라이선스로 무료 공개되어 있습니다.