에이전트에게 도구를 주지 마세요. 샌드박스를 주세요 - 미쿄 킹, 아라이즈 AI

하이라이트

• 코드 모드 도입 후 토큰 사용량이 43% 감소하고 비용이 31% 줄어들었다.

• 에이전트에게 방대한 도구 카탈로그를 직접 전달하는 방식은 컨텍스트 비대화와 부패를 야기한다.

• 코드 모드는 단 한 번의 턴 안에서 여러 도구를 실행하고 필요한 페이로드만 컨텍스트에 반환한다.

• SQL 작성 기능과 파이썬 샌드박스를 결합하여 집계 쿼리 및 CRUD 작업을 효율적으로 수행한다.

• 하버(Harbor) 프레임워크를 활용해 네트워크가 차단된 샌드박스 환경에서 에이전트를 반복 평가한다.

타임라인

1. 00:00 - 01:51

   소프트웨어 개발 역사와 도구 경계의 붕괴

   이메일 첨부파일 다운로드 같은 작업에서 프로그래머는 50줄의 스크립트로 해결하지만 비기술자는 수동 인터페이스에 의존해야 했다. 하지만 코딩 에이전트가 동적으로 필요한 소프트웨어를 제작하면서 이러한 경계가 무너지고 있다. SWE 벤치마크 등 모델 훈련 방향도 이와 일치한다.

   • 소프트웨어 개발 역사는 엔지니어와 비기술자를 위한 소프트웨어로 나뉘어 있었다.
   • 프로그래머는 스크립트를 작성해 필요한 도구를 직접 만들 수 있다.
   • 클로드 코드 같은 기술은 이러한 경계를 완전히 허물고 있다.
2. 01:51 - 04:36

   전통적 도구 호출의 한계와 코드 모드의 등장

   에이전트에게 수많은 도구를 쥐여주면 관련 없는 도구가 컨텍스트에 쌓여 지연 시간과 비용이 증가한다. 반면 코드 모드는 순차적, 병렬적, 조건문 실행이 가능한 프로그래밍 환경을 제공하여 오버헤드를 대폭 줄인다.

   • 방대한 도구 카탈로그를 제공하는 방식은 컨텍스트 부패를 유발한다.
   • 코드 모드는 도구 검색 및 프로그래밍 환경을 동시에 제공한다.
   • 코드 모드는 한 번의 턴에서 여러 도구를 호출하고 필수 페이로드만 반환한다.
3. 04:36 - 06:11

   코드 모드가 강력한 성능을 발휘하는 이유

   처음부터 모든 도구를 건네지 않고 필요한 도구만 골라 이해하고 실행할 수 있다. 개인 식별 정보 제거 같은 전용 도구가 없는 작업도 에이전트가 직접 코드를 작성해 처리함으로써 민감 정보 유출을 방지한다.

   • 필요한 도구만 선택하여 사용하는 점진적 공개가 이루어진다.
   • 다양한 순서와 분기 처리를 통해 조합 가능성이 극대화된다.
   • 민감 정보를 외부로 유출하지 않고 직접 도구를 생성하는 창발적 행동이 가능하다.
4. 06:11 - 08:09

   아라이즈의 코드 모드 구현 방식

   리눅스 프리미티브와 자체 CLI를 결합하고 파이썬 샌드박스에 CRUD 작업을 탑재했다. 또한 지연 시간 분석 같은 집계 쿼리를 위해 텍스트를 SQL로 변환하는 기능을 추가하여 브라우저 내에서 양방향 데이터 바인딩을 구현했다.

   • 피닉스 플랫폼 내부에 자체 에이전트와 하네스를 구축했다.
   • Bash, 파이썬 샌드박스, REST CRUD 엔드포인트를 결합했다.
   • 텍스트를 SQL로 변환하는 기능을 통해 복잡한 집계 쿼리를 처리한다.
5. 08:09 - 11:44

   코드 모드의 운영상 과제와 미해결 문제

   샌드박스 내부의 CPU, 메모리, 네트워크 송신을 신중하게 고려해야 한다. 코드 디버깅이 개별 도구보다 어려우며, 작업이 중간에 중단되었을 때 재개하는 방식이나 자바스크립트의 수학 연산 한계 등도 해결해야 할 과제이다.

   • 자원 관리, 네트워크 외부 유출, 보안 자격 증명 관리가 중요하다.
   • 지나치게 광범위한 권한 부여로 인해 가드레일 설치가 필요하다.
   • 이중 샌드박싱과 중단된 작업의 지속성 문제가 존재한다.
6. 11:44 - 14:30

   하버 프레임워크를 통한 평가와 성과

   다양한 순열 조건 하에서 에이전트를 테스트하여 불확실성을 제거하고 Pass@k를 추적한다. 이 방식을 통해 지연 시간을 일정하게 유지하면서 토큰 사용량과 비용을 크게 절감하는 성과를 거두었다.

   • 하버 프레임워크를 이용해 네트워크가 차단된 샌드박스에서 에이전트를 반복 평가한다.
   • 코드 모드 도입 후 토큰 사용량이 43% 감소하고 비용이 31% 줄어들었다.
   • 실행 궤적과 평가 결과를 수집하여 에이전트 성능을 지속적으로 개선한다.