더 작은 모델이 금융 업무에서 오푸스를 이겼습니다 - 알렉산드로 셰브첸코, 램프

Highlights

• 램프에서 LLM을 사용하는 유스케이스 수는 지난 1년 동안 123% 증가했습니다.

• 프라임 인텔렉트와 제휴하여 사후 학습시킨 35B 규모의 QAN 3.5 모델은 당시 프론티어 모델이었던 오푸스 4.6을 뛰어넘는 정확도를 기록했습니다.

• 카트리지 기술은 20~30배 더 많은 컨텍스트를 오프라인 KV 캐시에 압축하여 에이전트에 서비스합니다.

• 1만 개의 병렬 에이전트를 가동해 램프 전체를 모의 해킹한 결과 심각도가 높은 7개의 취약점을 찾아내어 패치했습니다.

• 오픈 웨이트 모델은 최첨단 추론 모델에 비해 최대 5배 저렴하면서도 스웜 형태로 설정할 경우 거의 준하는 탐지율을 달성합니다.

Timeline

1. 00:12 - 03:05

   램프의 LLM 활용 현황과 쓰디쓴 교훈

   램프는 쓰디쓴 교훈이 깊이 체화된 회사로서 끊임없이 저렴하고 빠른 프론티어 모델들을 도입하고 있습니다. 완벽한 모델을 기다리기보다 제약이 많던 2023년에도 램프 투어 가이드 등의 에이전트를 현장에 투입했습니다. 시간이 흘러 2026년 현재는 모델의 성능이 향상되어 MCP와 다양한 컨텍스트 접근이 가능해졌습니다.

   • 램프는 지난 1년 동안 LLM 유스케이스가 123% 증가했습니다.
   • 새로운 프론티어 모델들이 계속해서 출시되면서 유닛 경제학 측면의 단위당 비용은 더 저렴해지고 있습니다.
   • 2023년에는 엄격한 가드레일과 좁은 컨텍스트 범위가 필수적이었으나 당시 재무 전문가 지원을 위해 에이전트를 선제적으로 출시했습니다.
2. 03:05 - 07:25

   전문가 모델 사후 학습과 KV 캐시 트릭

   스프레드시트 에이전트 구동 시 기존 프론티어 모델은 계획 수립에 시간이 걸리고 생각 토큰 비용이 비쌌습니다. 이에 35B 모델을 사후 학습하여 속도와 정확도를 모두 잡았습니다. 또한 월말 결산처럼 사전에 예측 가능한 대규모 컨텍스트는 카트리지 기술을 통해 하룻밤 사이에 미리 빌드해 둠으로써 에이전트의 효율을 극대화합니다.

   • 프라임 인텔렉트와 협력하여 사후 학습한 35B 규모의 QAN 3.5 모델은 오푸스 4.6보다 높은 태스크 정확도를 달성했습니다.
   • 카트리지는 20~30배 많은 컨텍스트를 오프라인 KV 캐시에 압축해 월말 결산 같은 반복 작업을 미리 준비합니다.
   • 사후 학습과 비교해 카트리지는 자체 플레이를 통한 일반화가 가능하여 구축 부담이 적습니다.
3. 07:26 - 10:08

   에이전틱 맵리듀스와 스웜을 활용한 모의 해킹

   에이전틱 맵리듀스와 에이전틱 스웜을 결합하여 대규모 인프라의 취약점을 자동으로 매핑하고 티켓 중복을 제거했습니다. 이 과정에서 이메일을 통한 루아 스크립트 인젝션 같은 복합적인 취약점을 사람의 개입 없이 토큰 비용만으로 찾아냈습니다. 저렴한 오픈 웨이트 모델을 스웜으로 구성해도 성능 저하가 크지 않다는 점을 확인했습니다.

   • 1만 개의 병렬 에이전트를 활용한 램프 인스펙트를 통해 램프 전체를 모의 해킹했습니다.
   • 자동화된 스웜 구동 결과 가장 심각도가 높은 7개의 취약점을 발견하고 패치했습니다.
   • 오픈 웨이트 모델을 스웜 형태로 활용할 경우 최첨단 추론 모델 대비 최대 5배 저렴한 비용으로 유사한 탐지율을 확보합니다.
4. 10:09 - 14:07

   연구 성과를 반영한 실제 제품과 블로그 안내

   램프 랩스의 연구 성과들은 실제 프로덕션 제품인 토큰 지출 관리와 램프 라우터에 직접 녹아들었습니다. API 키와 사용자 기준을 넘어 회계적 의미까지 분석하며 지연 시간과 토큰 비용을 동시에 개선합니다. 사후 학습 내용을 다른 모델 계열로 전이하는 포털 기술이나 Datadog 기반의 자동 모니터링 연구도 활발히 진행 중입니다.

   • 토큰 지출 관리 제품은 회계 범주와 지출 분석을 통해 LLM 사용량을 의미론적으로 분류합니다.
   • 램프 라우터는 NVIDIA Switchyard나 Smart Flex 같은 작업 오프로딩 전략을 적용합니다.
   • 포털 연구와 자기 개선형 모니터링 등 추가적인 연구 내용은 램프 랩스 블로그에서 확인할 수 있습니다.