모델 스왑 워크숍: GPT-5.5 vs Kimi vs DeepSeek vs Mistral — 파멜라 폭스(Pamela Fox), 마이크로소프트

하이라이트

• 특정 텍스트 내 문자 개수를 세는 연산 테스트에서 GPT-5.5와 Kimi는 정답인 13개를 맞췄으나, DeepSeek V4 Flash는 6개, Mistral Large 3는 8개에 그쳤다.

• Mistral Large 3는 프롬프트 엔지니어링을 통해 단어별 분할 및 추론 과정을 거치도록 유도했을 때 연산 정답 도출에 성공했다.

• 목수벌 데이터셋만을 제공한 RAG 환경에서 GPT-5.5와 Kimi는 꿀벌 관련 정보 부재를 정확히 인지했으나, Mistral은 자체 가중치 기반 지식을 끌어와 환각을 발생시켰다.

• 여행 플래너 에이전트 구동 시 GPT-5.5는 독립적인 항공편 및 호텔 검색을 단일 턴에서 병렬 툴 호출로 처리한 반면, Kimi와 DeepSeek 및 Mistral은 순차 호출에 의존했다.

• Microsoft Research의 신규 평가 도구 Assert는 사양 YAML 파일 작성을 기반으로 엣지 케이스 시나리오와 평가 기준을 자동 생성한다.

• DSPY는 GEPA(Genetic Pareto Algorithms) 최적화 알고리즘을 사용해 코드 내 선언된 제약 조건을 만족하는 시스템 프롬프트를 자동으로 탐색 및 생성한다.

• Anthropic의 Messages API는 출처 문서 매핑 시 구조화된 인용 블록을 모델 레벨에서 직접 반환한다.

타임라인

1. 00:00 - 05:38

   워크숍 개요 및 Foundry 모델 환경 구축

   규제 리스크와 벤더 종속성을 방지하기 위해 여러 대체 모델을 연동하고 검증하는 능력이 요구된다. 마이크로소프트 Foundry 프로젝트 엔드포인트와 API 키는 .env 파일을 통해 주입하며, 속도 제한 초과(429 오류)에 대비한 대체 프로젝트 설정도 포함되어 있다.

   • Python 환경에서 `uv sync`를 실행하거나 GitHub Codespaces를 이용해 실습 인프라를 동기화한다.
   • 비교 대상 모델은 GPT-5.5, Kimi K2.6, DeepSeek V4 Flash, Mistral Large 3 네 가지로 구성된다.
   • 벤치마크 점수는 실제 운영 시나리오에서의 모델 동작을 완벽히 보증하지 못한다.
2. 05:38 - 08:38

   단일 LLM 호출과 기초 추론 프롬프트 엔지니어링

   OpenAI Python SDK 인터페이스를 동일하게 활용하여 엔드포인트와 모델 파라미터만 교체하며 성능 차이를 대조한다. 작은 모델이 기본 연산에서 취약점을 드러낼 때, 구조적 사고 과정을 유도하는 프롬프트 튜닝으로 정확도를 보정할 수 있다.

   • 예문 내 문자 'E' 출현 횟수 계산에서 GPT-5.5와 Kimi는 정확한 값 13을 반환했다.
   • DeepSeek V4 Flash는 6개, Mistral Large 3는 8개로 오답을 출력했다.
   • 단어 분할 및 단계별 추론 지시를 추가하자 Mistral도 올바른 수치에 도달했다.
3. 08:38 - 13:05

   RAG 환경의 컨텍스트 준수와 비지도 환각 제어

   RAG 파이프라인에서 성능이 낮은 모델은 모르는 내용을 아는 척하며 자체 지식을 삽입하는 경향을 보인다. 각 정보 단위마다 근거가 없을 시 '출처 없음'을 명시하도록 제약을 강화하면 모델의 환각과 가중치 의존 출력을 부분적으로 통제할 수 있다.

   • 목수벌 정보만 포함된 문서에서 꿀벌 둥지 관련 질문 시 GPT-5.5와 DeepSeek은 정보 부재를 인정했다.
   • Mistral은 내부 가중치 데이터를 임의로 추출해 컨텍스트에 없는 내용을 답했다.
   • 모든 진술에 대해 문서 출처 증명을 강제하자 Mistral의 가중치 개입이 억제되었다.
4. 13:05 - 17:14

   멀티모달 시각 입력 분석 및 언어별 편차

   Mistral은 이미지를 엘리게이터로 오인하고 표에서 가장 저렴한 가격(1.58달러) 대신 2.30달러 식물을 추출하는 실패를 보였다. 멀티모달 성능은 프롬프트 엔지니어링으로 보정하기 어렵고, 모델 고유의 시각 인코딩 능력과 언어 토큰 매핑에 직접 좌우된다.

   • 오로록스, 악어 주둥이 구분, 가격표 스크린샷 판독에서 GPT-5.5와 Kimi는 정답을 도출했다.
   • 텍스트 전용 모델인 DeepSeek은 멀티모달 테스트에서 제외되었다.
   • 스페인어와 같이 비영어권 언어로 질문을 전환하면 시각적 분류 성능이 급격히 저하된다.
5. 17:14 - 21:01

   단일 툴 호출과 스키마 모호성 제거

   에이전트 구현의 최하위 계층은 LLM이 사용자 입력에서 알맞은 도구와 정확한 파라미터 딕셔너리를 선택하는 작업이다. 모델이 기대 인자 제약을 어겼을 때는 함수 스키마의 주석과 매개변수 명세를 엄격하게 다듬어 교정해야 한다.

   • 툴 호출은 LLM에 함수 정의 JSON 스키마를 제공하고 호출 인자를 산출하게 만드는 기술이다.
   • GPT-5.5와 DeepSeek은 요청하지 않은 사용자 자신을 참석자 목록에 포함시키는 실수를 범했다.
   • 파라미터 설명(description) 필드를 정밀하게 작성하여 스키마 모호성을 제거해야 한다.
6. 21:01 - 24:00

   루프 기반 툴 호출과 실행 효율성 비교

   루프 안에서 반복 도구 호출을 수행할 때 모델의 지능은 최소 호출 횟수로 목표에 도달하는 효율성으로 측정된다. 매 호출마다 네트워크 지연과 토큰 비용이 누적되므로, 모델 간 평가에서는 최종 결과의 정답 여부뿐만 아니라 툴 왕복 턴 수도 반드시 추적해야 한다.

   • 단일 수식 묶음이 가능한 수학 계산에서 GPT-5.5는 단 한 번의 툴 호출로 문제를 해결했다.
   • DeepSeek은 단순 연산을 단계별로 쪼개어 총 4회의 네트워크 왕복 툴 호출을 발생시켰다.
   • Kimi는 정답 도출 후에도 자기 검증 루프에 빠져 불필요한 추가 호출을 생성하는 특성을 보였다.
7. 24:00 - 30:29

   멀티 턴 에이전트 프레임워크와 병렬 툴 실행

   LangChain 기반 여행 계획 에이전트 실험에서 병렬 툴 호출 지원 여부가 전체 소요 시간과 단계 최적화에 큰 영향을 미쳤다. 중간에 작업을 포기하는 모델의 컨텍스트 망각 문제를 해결하기 위해서는 Ralph 루프와 같은 강제 실행 인터셉터나 중간 유도 프롬프트가 요구된다.

   • GPT-5.5는 항공편 검색과 호텔 검색을 첫 턴에서 병렬 툴 호출로 동시 처리했다.
   • Kimi와 DeepSeek은 작업을 병렬화하지 못하고 직렬 다중 턴으로 수행했다.
   • Mistral은 컨텍스트가 누적되자 마지막 예산 반영 및 액티비티 검색 단계를 누락하고 실행을 중단했다.
8. 30:29 - 39:51

   자동화 평가 시스템과 LLM 심판 설계

   프로덕션 배포 후 발생하는 모델 드리프트와 사용자 변수를 추적하려면 수백 개의 테스트 케이스가 포함된 독립 평가 파이프라인이 필수적이다. 심판 모델에는 최종 응답뿐 아니라 도구 정의 및 실행 트레이스 전체를 전달해야 정확한 추론 기반 판정이 가능하다.

   • 단순 문자열 및 리스트 일치 검사로 기본 인자 유효성을 1차 판정한다.
   • 출력 모호성을 해결하기 위해 GPT-5.5를 심판(Judge)으로 두고 합격/불합격 판정과 판정 근거를 JSON으로 출력받는다.
   • LLM 심판은 실행 속도가 느리고 비용이 크므로 도메인 전문가의 라벨링 데이터로 지속적인 사전 보정(Calibration)을 거쳐야 한다.
9. 39:51 - 45:15

   사양 기반 Assert 평가 프레임워크와 합성 테스트셋

   프로덕션 데이터가 부족한 초기 단계에서는 사양서를 바탕으로 다양한 제약 차원(예산 압박, 직항 선호 등)을 계층화하여 테스트 세트를 부트스트랩해야 한다. 비즈니스 로직에 부합하는 커스텀 평가기를 신속하게 구축할 수 있도록 지원하는 연구 기반 프레임워크가 Assert다.

   • Assert는 요구 사양 YAML 파일을 입력받아 사용자 행동 시나리오와 평가 기준을 자동 합성한다.
   • 일관성이나 유창성 같은 LLM 기본 내장 평가 지표는 비즈니스 검증에 무의미하다.
   • 여행 플래너 위반 점수 측정 결과 GPT-5.5가 가장 적은 제약 위반 건수를 기록했다.
10. 45:15 - 51:18

    DSPY 프롬프트 자동 컴파일 및 Anthropic 인용 기능

    수동 프롬프트 엔지니어링의 번거로움을 제거하기 위해 프로그램 제약 사양을 정의하고 알고리즘이 프롬프트를 도출하도록 코드를 전환한다. 이와 함께 로컬 개발 시에는 환경 변수 설정 변경을 통해 Ollama 로컬 모델로 즉시 전환할 수 있다.

    • DSPY는 입출력 제약 조건 코드를 입력받아 GEPA 최적화 알고리즘으로 최적의 시스템 프롬프트를 자동 컴파일한다.
    • 최적화된 프롬프트를 결합함으로써 저비용의 Mistral Large 3에서도 고품질 출력을 안정적으로 확보할 수 있다.
    • Anthropic Messages API는 구조화된 출처 문서를 모델에 전달하면 인용 텍스트 블록을 네이티브로 산출한다.