더 똑똑해진 모델이 하네스를 끝장냈습니다. 남겨진 것들 — 제디아 카츠, 스페이스XAI

하이라이트

• 최근 연구에 따르면 더 새롭고 똑똑한 모델일수록 하네스의 선택이 코딩 평가 점수에 유의미한 차이를 만들지 못합니다.

• 에이전트 하네스는 모델이 더 어려운 코딩 작업을 시도하도록 도우며, 이는 연구소로 데이터가 공유되어 모델 자체의 학습으로 이어지는 데이터 플라이휠을 구동합니다.

• 그록봇은 일회성 대화가 아니라 수많은 작업자 에이전트 함대를 조율하는 오래 지속되는 코디네이터 봇 기반으로 작동하는 새로운 형태의 하네스를 보여줍니다.

• 진정한 자율 동료 역할을 수행하려면 에이전트는 절전 모드에 들어갈 수 있는 개인 노트북이 아니라 클라우드에서 실행되어야 합니다.

• 하네스의 선택은 평가 점수에 큰 차이를 만들지 못하더라도 작업당 비용과 속도 등 효율성 측면에서는 상당한 차이를 만들어냅니다.

• 향후 6개월 안에 에이전트 작업의 90%는 로컬 노트북을 벗어나 클라우드 환경에서 실행될 것으로 예상됩니다.

타임라인

1. 00:00:00 - 05:00:00

   에이전트 하네스의 정의와 전성기

   발표자는 커서에서 에이전트 하네스 담당 엔지니어로 근무하다가 스페이스엑스에 합류한 경력을 소개하며 발표를 시작합니다. 하네스는 모델을 감싸고 유도하며 세상과 연결해 주는 런타임 계층과, 모델이 호출될 시점과 컨텍스트를 제어하는 컨텍스트 및 오케스트레이션 계층으로 구분됩니다. 초기에는 모델의 지능 부족을 메우기 위해 코드 베이스 탐색 방법이나 테스트 실행 지시사항 등 온갖 안전장치를 하네스에 포함했습니다.

   • 2023년 초 프롬프트 엔지니어에서 컨텍스트 엔지니어를 거쳐 하네스 엔지니어링이라는 용어로 진화했습니다.
   • 하네스는 모델의 눈과 손 역할을 하며 런타임 계층과 컨텍스트 및 오케스트레이션 계층으로 나뉩니다.
   • 커서는 새롭고 장기 실행되는 하네스인 그라인드스웜을 사용하여 완전히 새로운 브라우저를 개발했습니다.
2. 05:00:00 - 07:14:00

   더 똑똑해진 모델과 하네스의 종말론

   최근 업계에서는 더 똑똑해진 모델 덕분에 시스템 프롬프트와 안전장치들을 대거 제거할 수 있게 되면서 하네스가 죽었다는 주장이 제기되었습니다. UC 버클리와 애플 등의 연구에서도 전용 하네스가 벤치마크 점수에 큰 차이를 만들지 않는다는 결과가 나타났습니다. 이는 하네스가 스스로를 구식으로 만드는 데이터 플라이휠 과정을 거치며 모델이 스스로 작업 수행 능력을 학습하게 되었음을 시사합니다.

   • UC 버클리, 애플, EPFL 등의 연구 결과에 따르면 최첨단 모델들일수록 하네스의 선택이 벤치마크 점수에 유의미한 차이를 만들지 못했습니다.
   • 모델이 코딩 근육 기억을 고유의 능력으로 흡수하면서 과거 하네스가 담당하던 역할들이 사라졌습니다.
   • 하네스는 더 복잡한 작업을 가능하게 하고 데이터가 연구소로 공유되어 모델이 학습하는 데이터 플라이휠을 구동합니다.
3. 07:14:00 - 14:20:00

   하네스가 여전히 필요한 이유

   코딩 영역에서 하네스의 역할이 줄어들었음에도 불구하고 하네스가 여전히 중요한 이유는 두 가지입니다. 첫째는 그록봇 같은 도구를 통해 모델이 해결할 수 있는 새로운 작업 프론티어를 열어주기 때문이며, 둘째는 모델이 자체적으로 흡수할 수 없는 클라우드 런타임, 보안, 권한 관리, 비용 효율성 등의 영역이 존재하기 때문입니다.

   • 그록봇은 수많은 작업자 에이전트 함대를 조율하는 새로운 형태의 하네스를 도입하여 새로운 업무 영역을 개척합니다.
   • 자율형 동료가 원활하게 작동하려면 개인 노트북이 아닌 클라우드 기반의 인프라가 필수적입니다.
   • 하네스는 파일 내 API 키 노출 방지와 1만 달러의 API 요금 폭탄을 막기 위한 신뢰, 보안, 권한 관리를 제공합니다.
   • 캐시 적중률과 토큰 효율성 등의 최적화를 통해 품질 저하 없이 작업당 비용과 속도를 상당한 수준으로 낮출 수 있습니다.
4. 14:20:00 - 18:06:00

   에이전트 하네스의 미래 트렌드

   향후 하네스는 변경 관리 과정을 줄이고 빠른 반복 작업을 위해 내부 작동 방식을 숨기는 방향으로 진화하고 있습니다. 또한 이벤트 구독 같은 강력한 프리미티브와 결정론적 가드레일인 심을 도입하여 모델의 한계를 보완하고 있습니다. 어제의 하네스는 끝났을지 몰라도 내일의 에이전트 하네스는 새로운 추상화 단계로 나아가며 영원히 지속될 것입니다.

   • 제품이 모델보다 더 빠르게 발전하면서 하네스 내부 작동 방식이 사용자에게 점점 더 적게 노출되는 추세입니다.
   • 에이전트가 이벤트에 구독할 수 있게 만드는 프리미티브 설계에 더 크게 집중하고 있습니다.
   • 결정론적 가드레일인 심을 활용하여 모델의 잘못된 동작을 보완하고 중앙에서 추적합니다.
   • 6개월 안에 에이전트 작업의 90%는 로컬 노트북을 벗어나 클라우드에서 실행될 것입니다.