당신은 AI 에이전트 세션을 소유하고 있지 않습니다

하이라이트

• AI 코딩 에이전트의 세션 로그는 로컬 시스템에 JSONL 파일로 저장되어 모든 메시지와 툴 호출 결과를 기록한다.

• OpenAI와 Anthropic의 최신 추론 모델은 전체 사고 과정 대신 암호화된 콘텐츠와 요약만 제공하여 사용자의 투명성을 제한한다.

• 모델 제공업체는 증류를 방지하기 위해 사고 과정을 암호화하며, 이로 인해 사용자는 세션에 대한 소유권을 상실한다.

• 서버 측 컴팩션과 대화 상태 관리 기능을 사용할 경우 데이터가 원격 서버에 종속되어 모델 간 포팅이 불가능해진다.

• OpenAI SDK의 대화 저장 기본값인 store: true 설정을 false로 변경하지 않으면 서버가 컨텍스트를 직접 관리하게 된다.

타임라인

1. 00:00 - 05:20

   AI 에이전트 세션 구조와 로컬 로그

   Pi는 사용자가 원하는 대로 확장할 수 있는 미니멀한 코딩 에이전트 하네스이다. 에이전트가 작동할 때 로컬 시스템과 원격 모델 서버 간의 통신이 발생하며, 대화가 진행됨에 따라 컨텍스트가 쌓인다. 모델은 직접 파일을 수정할 수 없으므로 툴 사용 의도를 설명하고, 실제 실행은 로컬 하네스가 수행한 뒤 그 결과를 다시 모델로 전송한다.

   • Pi 같은 미니멀한 에이전트 하네스는 시작된 각 세션을 로컬 컴퓨터에 JSONL 파일로 기록한다.
   • JSONL 파일에는 사용자 메시지, 모델 응답, 툴 호출 결과 등 모든 상호작용이 저장된다.
   • 대형 언어 모델은 원격 서버에서 실행되며 매 턴마다 세션 전체 컨텍스트를 전송받아 작동한다.
2. 05:20 - 11:10

   추론 모델의 암호화와 소유권 상실

   최신 모델들은 툴 호출로 이어지는 중간 사고 과정을 사용자에게 숨긴 채 암호화된 데이터로 제공한다. 이는 투명성을 저하시키고 사용자가 정당한 비용을 지불하는지 감사를 불가능하게 만든다. 더 큰 문제는 이 암호화된 세션이 다른 모델이나 제공업체로 전환할 때 호환되지 않아 사용자가 자신의 세션 소유권을 완전히 잃게 된다는 점이다.

   • 최신 추론 모델들은 전체 사고 과정 대신 요약본과 해독 불가능한 암호화된 콘텐츠를 출력한다.
   • 사용자는 보이지 않는 사고 토큰에 대한 비용을 지불하면서도 모델의 생각 과정을 감사하거나 통제할 수 없다.
   • 세션에 포함된 암호화된 콘텐츠는 다른 모델 제공업체로 전환할 경우 해독이 불가능하다.
3. 11:10 - 16:30

   서버 측 웹 검색과 컴팩션의 영향

   웹 검색 같은 기능을 아웃소싱하면 로컬 시스템이 아닌 제공업체 서버에서 검색과 분석이 이루어진다. 그 결과 상세한 페이지 콘텐츠가 아닌 요약본만 반환되어 컨텍스트의 디테일이 유실된다. 컨텍스트 창이 가득 찼을 때 서버 측에서 이루어지는 컴팩션 역시 서버에 데이터를 귀속시키며 사용자의 직접적인 데이터 관리 권한을 약화시킨다.

   • 모델 제공업체의 자체 웹 검색 툴을 사용하면 상세한 검색 결과 대신 요약만 세션에 남게 된다.
   • 서버 측 컴팩션 기능은 복잡한 객체를 서버에 유지하지만 세션 정보의 종속성을 높인다.
   • 원격 서버에서 관리되는 요약 데이터와 키로 인해 컨텍스트의 실질적 통제권이 분산된다.
4. 16:30 - 21:19

   대화 상태 관리와 통제권 확보 방안

   OpenAI 등의 제공업체는 서버에서 대화를 관리하는 상태 유지 API를 제공하며 기본값으로 활성화되어 있다. 이를 통해 개발자는 전체 컨텍스트 대신 응답 ID만 전송할 수 있어 편리하지만 세션 저장과 전환이 제한된다. 모델 제공업체들이 증류 방지를 위해 데이터를 서버에 묶어두려는 트렌드 속에서, 사용자가 주도권을 지키려면 설정을 조정하고 세션에 대한 통제력을 유지해야 한다.

   • OpenAI SDK의 store 속성은 기본값이 true로 설정되어 서버가 대화 상태를 직접 관리한다.
   • 응답 ID만 참조하는 서버 측 대화 관리는 네트워크 전송량을 줄여주지만 세션 포팅을 불가능하게 만든다.
   • 통제권을 유지하기 위해서는 store 설정을 false로 직접 변경하여 클라이언트 측에서 컨텍스트를 관리해야 한다.