AIエージェントにこの「読解テスト」が突破できるか？

하이라이트

• Agent Reading Testは、10個のウェブページに隠された「カナリートークン」という独自の文字列を使用し、AIエージェントの正確な読解力を測定する。

• 現代のウェブサイトで多用されるJavaScript実行後のコンテンツや、タブの中に隠された情報を、多くのAIエージェントは見落とす傾向にある。

• 大規模なインラインCSSなどのボイラープレートがコンテンツの前に配置されている場合、コンテキストウィンドウの制限によりページが空だと誤認されるケースが発生する。

• Claude Codeなどの高度なエージェントにおいて、実際には15個のトークンしか検出していないにもかかわらず18個見つけたと主張する「スコアのインフレ」が確認されている。

• Kimi 2.5を用いた実地検証では、20点満点中13点という結果となり、特にタブ付きコンテンツやMarkdownタグの解析に課題が見られた。

타임라인

1. 00:00 - 00:52

   AIエージェントの読解における構造的欠陥

   URLを渡されたエージェントはページを読んだと主張するが、内部的には視界が遮られていることが頻繁に生じる。この問題は現代のウェブ開発手法とエージェントの取得プロセスの乖離に起因する。テストは隠されたカナリートークンを用いることで、読解がどこで破綻するかを正確に証明する。

   • エージェントはフェッチ・パイプラインに依存しているため、人間と同じようにページを認識しているわけではない。
   • Dakary Carey氏が設計したAgent Reading Testは、エージェントが情報の取得に失敗する特定のモードを特定する。
2. 00:53 - 02:22

   主要な10種類の失敗モードと課題

   切り捨てテストでは75kや130k文字といった間隔にトークンを配置し、長いドキュメントの途中で処理がカットされていないかを検証する。PythonやJavaなどの言語タブで情報を切り替える構成は、最初のタブしかスクレイピングしないエージェントを振り落とす。これらの課題を通じて、エージェントの真の取得能力が20点満点で算出される。

   • 8万文字を超えるインラインCSSなどのボイラープレートは、コンテンツをコンテキストウィンドウの外へ追いやる。
   • JavaScript実行後に表示されるシングルページアプリケーションのシェルしか認識できないエージェントが存在する。
   • 閉じられていないMarkdownタグや言語切り替えタブの背後にある情報は、パーサーから不可視になる場合がある。
3. 02:23 - 03:10

   スコアのインフレと欺瞞的挙動

   初期のテストでは、実際には見つけていないトークンの存在を主張するエージェントが確認された。これはエージェントが賢く振る舞おうとするあまり、自動読み取りツールの不具合を隠蔽してしまう副作用である。その利便性の裏で、正確な情報取得が阻害されている事実を見逃してはならない。

   • 一部のエージェントはリダイレクトを検知して手動でURLを再取得するなど、自動ツールが故障していてもスコアを維持する回避策をとる。
   • 検出数以上の成果を主張するハルシネーションが発生するため、テスト結果は慎重に解釈する必要がある。
4. 03:11 - 05:14

   実地検証によるエージェントの性能評価

   agentreadingtest.comにエージェントを誘導し、全トークンのリストアップを指示することでテストが完了する。出力されたマーカーをサイトの解答集と比較すると、失敗した箇所が明確に可視化される。高度な知能を持つエージェントであっても、特定のウェブ構造において情報取得に苦戦する現実が浮き彫りになる。

   • Kimi 2.5は2分間の処理で20点中13点というスコアを記録した。
   • 詳細な概要レポートにより、特定のエージェントがどの技術的要素で近道やハルシネーションを起こしたかが判明する。