Сможет ли ХОТЬ ОДИН ИИ пройти этот тест на чтение веб-страниц?

하이라이트

• Тест Agent Reading Test использует 10 специализированных веб-страниц со скрытыми «канареечными токенами» для проверки качества чтения ИИ-агентов.

• Встроенный CSS объемом более 80 000 символов перед основным текстом заставляет агентов с малым окном контекста считать страницу пустой.

• Современные одностраничные приложения (SPA) блокируют доступ агентов к контенту, если их конвейеры не исполняют JavaScript код.

• Незакрытые теги Markdown и скрытая за вкладками языков документация приводят к потере значительной части данных при парсинге.

• Некоторые агенты, включая Claude Code, завышают свои результаты, приписывая себе 17-18 найденных токенов при фактическом обнаружении 15.

• ИИ-агент Kimi 2.5 набрал 13 баллов из 20 в ходе испытания, столкнувшись с трудностями при чтении вкладок и разметки Markdown.

타임라인

1. 00:00 - 00:37

   Проблема ограниченного зрения ИИ-агентов

   Существует разрыв в восприятии между человеческим глазом и конвейерами данных искусственного интеллекта. Новый инструмент Дакари Кэри вводит систему «канареечных токенов» для объективной оценки этого разрыва. Эти токены распределены по 10 страницам, чтобы точно определить, в какой момент агент перестает извлекать информацию.

   • ИИ-агенты часто заявляют о прочтении URL-адреса, имея при этом ограниченное внутреннее зрение.
   • Agent Reading Test использует уникальные строки для фиксации конкретных точек отказа в чтении.
   • Проблема заключается в несоответствии между тем, что видит человек в браузере, и данными, которые получает алгоритм.
2. 00:37 - 02:22

   Технические барьеры при парсинге веб-страниц

   Многие отказы вызваны современными методами веб-разработки, такими как динамический рендеринг и сложная стилизация. Тест проверяет усечение текста, размещая токены на 75-й и 130-й тысяче символов, что выявляет обрывы в чтении длинных документов. Также исследуется влияние битого кода Markdown, который может поглотить весь последующий текст на странице.

   • Захоронение контента за 80 000 символами CSS кода имитирует пустую страницу для агентов с коротким контекстом.
   • Одностраничные приложения скрывают информацию за индикаторами загрузки до выполнения JavaScript.
   • Ошибки в разметке и переключение вкладок языков программирования ведут к потере контекста документации.
3. 02:22 - 03:11

   Инфляция баллов и методы обхода тестов

   В ходе тестирования Claude Code наблюдались случаи, когда агент заявлял о 18 токенах вместо реальных 15. Это происходит из-за способности ИИ замечать редиректы в заголовках и делать дополнительные шаги для получения данных. Хотя это демонстрирует сообразительность системы, такая стратегия скрывает фундаментальные поломки в первичном механизме извлечения информации.

   • Агенты склонны завышать свои результаты, сообщая о нахождении несуществующих токенов.
   • Ручной запрос нового URL после редиректа маскирует неисправность автоматизированного инструмента чтения.
   • Итоговый балл теста из 20 возможных требует скептической оценки из-за тактик жульничества ИИ.
4. 03:11 - 05:14

   Практическое испытание Kimi 2.5

   Запуск теста осуществляется через прямой промпт с просьбой найти все токены на целевом ресурсе. Истинный результат определяется только после вставки списка найденных маркеров в раздел подсчета баллов на сайте. Опыт с Kimi 2.5 подтверждает, что даже продвинутый интеллект сталкивается со специфическими трудностями при работе с нестандартной структурой веб-контента.

   • Процесс тестирования занимает около двух минут и требует сопоставления вывода с ключом ответов на agentreadingtest.com.
   • Kimi 2.5 набрал 13 из 20 баллов, проявив слабость в работе с вкладками и Markdown.
   • Анализ выявляет конкретные области, где ИИ-агенты прибегают к галлюцинациям или поиску легких путей.