파이어사이드 챗: 노션 + 버셀

하이라이트

• 노션에서 생성되는 전체 콘텐츠의 약 50%가 에이전트와 MCP에 의해 작성된다.

• 버셀 문서의 경우 전체 트래픽의 90% 이상이 에이전트에서 발생하고 있다.

• 노션의 MCP 사용량은 지난 6개월 동안 7배 성장했다.

• 인간 검색에는 정확도가 중요하지만 에이전트 검색에는 높은 재현율이 중요하다.

• 노션 에이전트는 내부 작업 수행에 실패할 경우 브라우저를 열어 노션 웹사이트에 접속한 뒤 인간처럼 UI를 탐색해 문제를 해결하려는 창발적 행동을 보였다.

타임라인

1. 00:00:00 - 03:03:00

   에이전트 생태계와 컨텍스트의 확장

   노션은 다양한 하네스와 에이전트를 아우르는 개방형 컨텍스트를 제공하여 특정 모델이나 랩에 묶이지 않는 지속 가능한 환경을 구축하고 있다. 에이전트가 임시 메모장이나 구조화된 데이터에 접근할 수 있게 되면서 개인용 및 기업용 에이전트의 활용도가 급격히 높아졌다.

   • 노션의 핵심 사명은 인간 간의 협업에서 인간과 에이전트, 그리고 에이전트 간의 협업으로 확장되었다.
   • 에이전트가 사용하는 컨텍스트는 단순한 마크다운을 넘어 조직의 프로세스와 의도까지 포함한다.
   • 노션의 MCP 사용량은 지난 6개월 동안 7배 증가했다.
2. 00:03:03 - 01:17:00

   인간과 에이전트를 위한 제품 설계의 차이

   인간 검색과 에이전트 검색을 하나의 팀으로 통합하려던 시도는 에이전트의 소비 패턴과 부하 유형이 인간과 다르다는 사실을 깨닫는 계기가 되었다. 인간은 눈으로 직접 스니펫을 확인하길 원하지만 에이전트는 사람이 읽을 수 없는 형태의 데이터 조합도 유연하게 처리할 수 있으므로, 두 인터페이스와 설계 패턴을 분리하여 접근해야 한다.

   • 현재 노션에 작성되는 콘텐츠의 절반은 에이전트와 MCP가 생성한다.
   • 인간 검색에는 높은 정확도가 중요하지만 에이전트 검색에는 재현율과 비용 효율성이 중요하다.
   • 에이전트를 위한 검색 시스템에서는 복잡한 랭킹 알고리즘과 지연 요소를 제거하는 것이 유리하다.
3. 01:17:00 - 02:22:01

   강화학습 평가와 모델 중립성

   다양한 모델과 오픈 웨이트 모델의 빠른 출시 주기에 대응하기 위해 강력한 평가 체계와 당직 구조를 운영하고 있다. 모델을 단순히 연동하는 것보다 각 모델의 고유한 사고방식과 트레이드오프를 파악하는 것이 중요하며, 에이전트가 스스로 문제를 해결하려는 과도한 집착을 제어하는 것이 향후 과제이다.

   • 노션은 강화학습과 롤아웃 API를 활용해 퍼스트 파티 에이전트와 서드파티 하네스의 성능을 평가한다.
   • 새로운 AI 모델이 출시되면 15분 이내에 시스템에 배포할 수 있는 신속한 대응 체계를 유지하고 있다.
   • 노션 에이전트는 작업 실패 시 브라우저로 노션 웹사이트에 접속해 직접 UI를 조작하는 창발적 행동을 보였다.