Почему тексты от ИИ всё ещё выглядят как халтура — Луи-Франсуа Бушар, Towards AI

Highlights

• Новый бенчмарк ToneBench измеряет уровень небрежности и качество креативного письма языковых моделей на основе десяти различных сценариев.

• Каждая модель генерирует по пять вариантов текста для оценки внутренней вариативности результатов.

• Система оценки анализирует девять различных метрик, включая тон, качество текста, следование инструкциям, точность исследования и наличие мусорного стиля (слопа).

• Модели склонны завышать оценки продуктам из собственного семейства, в частности модели OpenAI демонстрируют сильное предпочтение к собственным разработкам.

• Создание и поддержка бенчмарка требуют значительных затрат: изменение одного входного промпта стоит более 4000 долларов из-за масштаба генераций.

Timeline

1. 00:00:00 - 03:42:00

   Определение слопа и предпосылки создания ToneBench

   Проблема сгенерированного мусора становится все более заметной в социальных сетях. Несмотря на появление новых моделей, проблема не исчезает сама по себе. Для ее решения требуется отдельный инструмент оценки, который проверяет способность моделей писать естественно и соответствовать авторскому голосу.

   • Небрежный текст от ИИ характеризуется избытком шаблонных слов вроде 'delve', общей размытостью формулировок, отсутствием конкретики, постоянными повторениями, галлюцинациями и чуждым тоном.
   • Существующие модели продолжают масштабировать небрежный стиль несмотря на рост их технической сложности.
   • Компания Towards AI создала ToneBench для количественной оценки креативного письма и измерения степени небрежности текстов.
2. 03:42:00 - 14:15:00

   Методология бенчмарка и процесс оценки

   Процесс оценки включает отправку подробного промпта с примерами авторского стиля моделям. Полученные сценарии проходят автоматизированную проверку через судейские модели. Из-за склонности моделей поддерживать собственные разработки для объективности привлекаются независимые семейства или ручное сравнение пар текстов.

   • ToneBench использует 10 детально проработанных сценариев с брифами и исследовательскими материалами.
   • Для каждой модели генерируется по пять черновиков с целью измерения внутримодальной вариативности.
   • Четыре модели-судьи анализируют тексты по девяти метрикам, включая тональность, качество повествования и точность фактов.
   • Судьи на базе ИИ демонстрируют предвзятость к моделям из собственного семейства, что требует осторожности при выборе инструментов оценки.
3. 04:15:00 - 18:55:00

   Затраты, выводы и рекомендации для работы с текстом

   Масштабирование оценки требует значительных финансовых вложений в вычисления. Практический опыт показывает, что поиск идеальной модели с первой попытки неэффективен. Оптимальный подход заключается в детальной настройке промптов, генерации нескольких вариантов и применении финальной проверки человеком.

   • Первоначальная разработка бенчмарка и эксперименты обошлись в тысячи долларов, а изменение одной строки в промпте стоит более 4000 долларов.
   • Для качественного письма эффективнее использовать максимально длинные и подробные промпты с большим количеством позитивных и негативных примеров.
   • Генерация нескольких черновиков с помощью более дешевых моделей с последующим выбором лучших частей через мощную модель снижает расходы.