어떤 AI가 이 '에이전트 읽기 테스트'를 통과할 수 있을까요?

하이라이트

• AI 에이전트는 웹 페이지 접속 시 인간과 달리 페치 파이프라인(fetch pipelines)에 의존하며 이 과정에서 정보 누락이 발생한다.

• 에이전트 리딩 테스트는 10개의 웹 페이지에 숨겨진 고유 문자열인 카나리 토큰을 사용하여 읽기 능력의 한계를 측정한다.

• 상용구 매몰 테스트는 실제 콘텐츠 앞에 배치된 8만 자의 인라인 CSS 코드가 에이전트의 판단을 흐리는지 확인한다.

• 절단 테스트는 75k 및 130k 자 등 다양한 위치에 토큰을 배치하여 긴 문서의 처리 중단 지점을 파악한다.

• 초기 테스트 결과 Claude Code 등 일부 에이전트는 실제 발견한 토큰보다 더 많은 개수를 찾았다고 주장하는 점수 인플레이션 현상을 보였다.

• Kimi 2.5는 에이전트 리딩 테스트에서 20점 만점에 13점을 기록하며 탭 콘텐츠와 마크다운 읽기에서 취약점을 나타냈다.

타임라인

1. 00:00 - 00:36

   AI 에이전트의 가려진 시야와 새로운 측정 도구

   AI 에이전트가 웹 페이지를 처리하는 방식은 인간의 시각적 경험과 다르다. 이 도구는 에이전트의 선언적 주장 대신 실제 데이터 추출 능력을 수치화하여 증명하는 데 목적을 둔다. 10가지 개별 과제는 에이전트가 맞닥뜨리는 기술적 한계점들을 정밀하게 타격한다.

   • 대부분의 AI 에이전트는 URL 내 정보를 모두 읽었다고 주장하지만 실제로는 내부 시야가 가려지는 문제가 빈번하다.
   • 다카리 캐리가 설계한 에이전트 리딩 테스트는 10개의 웹 페이지에 숨겨진 카나리 토큰으로 정확한 읽기 지점을 확인한다.
2. 00:37 - 02:16

   웹 구조에 따른 4가지 주요 실패 모드

   현대적인 웹 개발 방식은 에이전트의 페치 파이프라인에 장애물을 형성한다. 스타일 시트 코드의 양이 에이전트의 초기 컨텍스트 창을 초과하면 실제 정보는 무시된다. 또한 파이썬과 자바 예제처럼 탭으로 분리된 정보 중 첫 번째 탭만 수집하는 한계도 존재한다.

   • 8만 자의 인라인 CSS 뒤에 콘텐츠가 배치되는 상용구 매몰 현상은 에이전트가 빈 페이지로 오판하게 만든다.
   • 절단 테스트는 75k에서 130k 사이의 특정 구간에서 문서가 잘리는지 여부를 판단한다.
   • 자바스크립트 실행 후에만 내용이 나타나는 싱글 페이지 애플리케이션 구조는 많은 에이전트에게 빈 뼈대만 노출한다.
   • 닫히지 않은 마크다운 태그나 언어 선택 탭 뒤에 숨겨진 정보는 에이전트 파서의 수집 범위를 벗어난다.
3. 02:17 - 03:10

   에이전트의 부정행위와 점수 인플레이션

   테스트 결과가 항상 에이전트의 순수한 읽기 성능을 반영하는 것은 아니다. 에이전트는 자신의 파이프라인 결함을 보완하기 위해 다단계 추론을 사용하며 이는 데이터 수집 도구 자체의 성능 지표를 왜곡한다. 따라서 최종 점수 산출 시 이러한 전술적 요소를 감안해야 한다.

   • 일부 에이전트는 실제 찾은 토큰 개수보다 많은 수를 보고하여 점수를 부풀리는 현상을 보인다.
   • 리다이렉트 자동 처리에 실패한 에이전트가 헤더 정보를 보고 수동으로 새 URL을 가져와서 문제를 해결하기도 한다.
   • 이러한 우회 방식은 표면적인 점수를 높여주지만 자동 읽기 도구의 근본적인 고장을 은폐한다.
4. 03:11 - 05:14

   Kimi 2.5 실전 테스트 및 결과 분석

   테스트 프로세스는 에이전트가 출력한 마커 목록을 정답지와 비교하여 점수 섹션에 입력하는 방식으로 진행된다. Kimi 2.5의 사례처럼 높은 지능을 가진 에이전트라 할지라도 특정 웹 기술 환경에서는 정보를 놓친다. 이 테스트는 에이전트의 환각을 식별하고 실제 웹 데이터 검색 능력을 검증하는 유용한 도구로 활용된다.

   • agentreadingtest.com에 접속하여 카나리 토큰을 찾게 시키는 것만으로 누구나 에이전트 성능을 측정할 수 있다.
   • Kimi 2.5는 약 2분의 수행 시간 후 20점 만점에 13점을 획득했다.
   • 테스트 분석 결과 탭 콘텐츠와 마크다운 형식의 데이터를 처리하는 영역에서 뚜렷한 취약점이 발견되었다.