앤스로픽, 드디어 1M 컨텍스트 윈도우 문제 해결?

하이라이트

• Claude와 같은 100만 컨텍스트 윈도우 모델에서도 모델 성능이 저하되는 '컨텍스트 로트(Context Rot)'는 전체 용량의 30%~40% 수준인 30만~40만 토큰부터 발생하기 시작한다.

• 자동 컴팩션(요약) 기능은 불필요한 정보뿐만 아니라 핵심적인 제약 사항이나 특정 경고를 삭제할 수 있어, 직접 수동으로 제어하는 것이 성능 유지에 유리하다.

• 에이전트가 목표에서 벗어나거나 모순된 행동을 할 때, 계속해서 수정 지시를 내리기보다 'Rewind(되감기)'를 사용하여 문제 발생 지점 이전으로 상태를 초기화하는 것이 더 효과적이다.

• 조사, 리팩토링, 문서 생성 등 대규모 작업 시 부모 에이전트의 컨텍스트를 오염시키지 않기 위해 하위 에이전트를 독립적으로 활용하여 결과값만 반환받아야 한다.

• 복잡한 프로젝트 상태를 관리하기 위해 작업 현재 상태, 제약 사항, 발견된 문제 등을 구조화된 JSON 형식으로 저장한 뒤 세션을 비우고(Clear) 해당 파일을 다시 참조하는 방식이 권장된다.

타임라인

1. 00:00 - 02:14

   컨텍스트 윈도우의 실체와 컨텍스트 로트

   컨텍스트 윈도우가 커질수록 모델이 처리해야 할 정보가 늘어나 추론 능력이 방해받는다. 모델이 지시사항을 잊거나 환각을 일으키는 주된 원인은 컨텍스트 로트이다. 단순히 윈도우 크기만 늘리는 것으로는 에이전트의 안정적인 성능을 보장할 수 없다.

   • 100만 컨텍스트 윈도우는 이론적 최대치일 뿐 실제 성능 저하는 30만~40만 토큰 사용 시점부터 발생한다.
   • 컨텍스트 로트는 비대해진 컨텍스트로 인해 모델이 집중력을 잃고 작업의 목표를 망각하는 현상이다.
   • 컨텍스트 윈도우에는 과거 대화, 시스템 프롬프트, 읽어 들인 파일 및 도구 호출 출력이 모두 포함된다.
2. 02:15 - 04:12

   에이전트 실패의 4가지 유형

   에이전트 하네스는 이러한 실패 유형을 최소화하기 위해 최적화된다. 특히 장기 실행 작업 시 에이전트가 자신의 초기 지시사항이나 이전에 생성한 파일 상태를 오해하여 오류를 반복하는 경우가 잦다.

   • 컨텍스트 오염, 목표 이탈, 메모리 손상, 의사결정 부정확성이 에이전트 실패의 핵심 요소이다.
   • 목표 이탈은 에이전트가 집중할 대상이 너무 많아 원래 수행해야 할 작업을 잊을 때 발생한다.
   • 메모리 손상은 에이전트가 구식 정보를 참조하여 현재 상태와 맞지 않는 행동을 계속할 때 발생한다.
3. 04:12 - 09:22

   수동 컨텍스트 관리 기법: 컴팩션과 Clear

   컴팩션 실행 시 가장 중요한 세부 사항이 요약 과정에서 노이즈로 처리되어 삭제될 수 있다. 따라서 구조화된 형식으로 중요한 데이터를 파일에 저장하고, 이후 세션을 초기화한 뒤 해당 파일을 다시 참조하는 방식이 가장 정교한 관리 전략이다.

   • 자동 컴팩션은 핵심 정보를 삭제할 위험이 커 직접 제어하는 것이 좋다.
   • Clear 명령어는 컨텍스트를 완전히 비우고 새로 시작할 때 유용하며, 작업 유형 변경 시 필수적이다.
   • 구조화된 JSON 파일로 현재 상태를 저장한 후 Clear 명령을 수행하면 정보 손실 없이 컨텍스트를 초기화할 수 있다.
4. 09:23 - 11:30

   고급 전략: 정기 요약과 하위 에이전트 활용

   주기적인 요약 요청은 목표를 강화하고 주요 정보를 최신 상태로 유지해준다. 하위 에이전트 활용은 주 컨텍스트를 깔끔하게 유지하여 에이전트가 더 명확한 의사결정을 내리도록 돕는다.

   • 긴 작업 중 주기적으로 에이전트에게 지금까지의 요약과 제약 사항을 정리하도록 시켜야 한다.
   • 하위 에이전트는 독립적인 컨텍스트 윈도우를 가져 주 컨텍스트의 오염을 방지한다.
   • 조사나 웹 검색 등 원본 데이터가 방대한 작업은 반드시 하위 에이전트에 위임해야 한다.
5. 11:30 - 12:54

   Rewind를 활용한 상태 회복

   Rewind(Escape 키 2회 입력)는 실패한 작업 단계를 컨텍스트에서 완전히 삭제한다. 이는 컴팩션 시 잘못된 정보가 요약에 포함되는 것을 막고, 다음 작업이 더 정확한 컨텍스트에서 시작될 수 있도록 보장한다.

   • 잘못된 접근 방식을 수정하기 위해 계속 지시를 내리는 것보다 Rewind로 상태를 되돌리는 것이 훨씬 효과적이다.
   • Rewind는 문제의 원인이 된 잘못된 구현과 불필요한 컨텍스트를 제거한다.
   • 에이전트가 올바른 상태를 기반으로 작업하도록 항상 깨끗한 컨텍스트를 유지해야 한다.