なぜAIの文章は今でも「スロップ」のように読めてしまうのか — ルイ＝フランソワ・ブシャール, Towards AI

Highlights

• 生成AIの文章はモデルの性能が向上しても「スロップ」と呼ばれる不自然さや抽象性が消えない。

• ToneBenchは10種類のテストスクリプトを用いて、モデルが人間の筆跡に近いクリエイティブな文章を書けるかを測定する。

• モデルの変動性を正確に測るため、各テストスクリプトに対して5つのドラフトが生成される。

• ベンチマークのルールやプロンプトを1行変更するだけで、数千ドルのコストが発生する。

• GLM 5.3 Flashは最高性能モデルのOpus 5.5よりも50倍安価でありながら同等の文章作成成果を上げられる。

Timeline

1. 00:00 - 03:39

   スロップの定義と問題点

   生成AIが生成する文章には人間が普段使わない言葉や中身のない表現が繰り返し使われる問題がある。モデルの規模が拡大してもこの傾向が変わらないため、文章がどれほど「スロップ的」であるかを測定する新しい評価基準が必要とされている。

   • 生成AIの文章はモデルの性能が向上しても「スロップ」と呼ばれる不自然さが解消されない。
   • スロップは過剰に使われる特定の言葉、極端な抽象性、内容の重複、ハルシネーションを特徴とする。
   • クリエイティブライティングの品質を客観的に測定するために「ToneBench」が立ち上げられた。
2. 03:39 - 05:42

   新しいベンチマークが必要とされる背景

   多数の動画や記事を制作する少人数チームにとって、AI文章の品質管理は極めて大きな負担となっている。最高性能を持ちつつスロップを生まないモデルが不可欠であることから、独自の評価システム開発が開始された。

   • Towards AIの少人数チームが教育コンテンツや本を大量に作成する中でAIを活用している。
   • 生成される文章のスロップを常にレビューして修正する作業に膨大な手間がかかっている。
   • モデル評価の経験と専門知識を持つチームが、コミュニティに貢献するためにベンチマークを構築した。
3. 05:42 - 09:14

   ToneBenchの構築と評価プロセス

   ベンチマークでは執筆スタイルやストーリーテリングの指示が含まれるプロンプトが使用される。クリエイティブなタスクではモデルごとの性能のばらつきが大きいため、複数回の生成を通じて安定性を測定する仕組みになっている。

   • ToneBenchは詳細なプロンプトや過去の動画スクリプトを基にモデルに出力を求める。
   • モデルの変動性を捉えるため、10種類のテストスクリプトごとに5つのドラフトが生成される。
   • 複数のLLM審査員が評価ルブリックに従って生成結果を採点し、リーダーボードを作成する。
4. 09:14 - 14:19

   評価指標とコスト構造

   9つの詳細な指標を用いて文章の品質が多角的に数値化される。自動化された評価プロセスではモデル間の好みの偏りが生じるため、異なるモデルファミリーを組み合わせて偏りを防ぐ工夫が取り入れられている。

   • 評価はトーン、文章の質、指示の遵守、リサーチの正確性、スロップスコアの5つの側面に基づく。
   • LLM審査員には自社のモデルファミリーを好むバイアスが存在する。
   • ベンチマークのルールやプロンプトの修正には数千ドルのコストがかかる。
5. 14:19 - 18:55

   ベンチマークから得られた知見と実践的なアプローチ

   大規模運用においては一発の完璧さを求めるのではなく、手直しの少ないモデルや安価なモデルの活用が推奨される。複数のドラフトを生成した上で優れた部分を統合するワークフローが、コストを抑えつつ高い成果を生み出す。

   • GLM 5.3 Flashは最高性能モデルのOpus 5.5に比べて50倍安価でありながら優れたコストパフォーマンスを示す。
   • 文章作成では詳細で長いプロンプトやネガティブな例の指定が有効である。
   • 安価なモデルで複数ドラフトを生成し、上位モデルで選別させる手法が効率的である。