Warum KI-Texte immer noch wie Schrott klingen — Louis-François Bouchard, Towards AI

Highlights

• ToneBench wurde entwickelt, um die Schreibqualität von KI-Modellen zu messen und den sogenannten „Slop“ zu quantifizieren.

• Der Benchmark stützt sich auf zehn verschiedene Skripte und bewertet jedes generierte Ergebnis anhand von neun unterschiedlichen Metriken.

• Eine einzige Änderung in der Bewertungsrubrik kostet mehr als 2.000 Dollar, während Anpassungen an einem Eingabe-Prompt über 4.000 Dollar verursachen.

• OpenAI-Modelle zeigen eine starke Bevorzugung innerhalb der eigenen Modellfamilie, wenn sie als Juroren eingesetzt werden.

• GLM 5.3 Flash erweist sich im großen Stil als extrem günstig und leistungsfähig im Vergleich zu teureren Alternativen.

Timeline

1. 00:00 - 03:16

   Definition und Problem von KI-Slop

   Schriftsteller und Unternehmen kämpfen zunehmend mit generischen Texten, die sich unnatürlich und roboterhaft lesen. ToneBench tritt an, um genau diesen schlampigen Schreibstil messbar zu machen und eine Alternative zu herkömmlichen Bewertungsmaßstäben zu bieten.

   • KI-generierte Texte leiden unter überstrapazierten Wörtern, mangelnder Konkretheit und ständigen Wiederholungen.
   • Der sogenannte Slop verschwindet trotz verbesserter Modelle nicht, sondern skaliert stattdessen immer weiter.
   • Sechs Hauptpunkte definieren diesen schlampigen Schreibstil, darunter Halluzinationen und das Fehlen einer echten eigenen Stimme.
2. 03:16 - 08:27

   Aufbau und Methodik von ToneBench

   Der Evaluationsprozess schickt detaillierte Prompts mit Beispielen und Recherchebriefings an die Sprachmodelle. Die anschließende automatisierte Auswertung bewertet Tonfall, Stil, Formatierungstreue und den Grad an generischem Slop.

   • ToneBench verwendet zehn sorgfältig ausgearbeitete Skripte als Testgrundlage, um Kontaminationen zu vermeiden.
   • Jedes Modell generiert für die Tests jeweils fünf Entwürfe, um die intramodale Variabilität zu erfassen.
   • Vier verschiedene LLM-Prüfer analysieren die finale Schreibqualität anhand von umfassenden Anweisungen und Richtlinien.
3. 08:27 - 15:02

   Kosten, Hürden und Juroren-Verzerrungen

   Experimente an den Bewertungsrubriken oder Prompts verursachen hohe Kosten im Tausenderbereich. Zudem müssen Entwickler bei der Auswahl der LLM-Juroren auf modellbezogene Vorlieben achten, um verfälschte Benchmark-Ergebnisse zu verhindern.

   • Die Erstellung und Iteration des Benchmarks erfordert erhebliche finanzielle Investitionen für API-Aufrufe.
   • OpenAI-Modelle bevorzugen als Prüfer konsequent die eigene Modellfamilie und spiegeln einen harten Konkurrenzkampf wider.
   • Ergänzende manuelle A/B-Vergleiche durch menschliche Teammitglieder gleichen algorithmische Verzerrungen aus.
4. 15:02 - 18:55

   Praktische Erkenntnisse und Empfehlungen

   Der praktische Einsatz zeigt, dass das Generieren von zehn Entwürfen über GLM 5.3 Flash in Verbindung mit einer strengen Richter-Instanz bessere Resultate liefert als der direkte Einsatz teurer High-End-Modelle. ToneBench steht ab sofort online zur Verfügung.

   • Extrem lange und detaillierte Prompts mit zahlreichen Positiv- und Negativbeispielen verbessern das Schreibergebnis massiv.
   • Die Kombination aus einem günstigen Modell für die Entwürfe und einem starken Richter zur Auswahl der besten Teile maximiert die Effizienz.
   • Ein abschließendes menschliches Review bleibt trotz aller Automatisierung unerlässlich für eine authentische Stimme.