Genehmigen Sie nicht das KI-Modell. Genehmigen Sie die App – Doneyli De Jesus, Langfuse

Highlights

• Regulierte Branchen priorisieren maßgeschneiderte Benchmarks gegenüber öffentlich verfügbaren Modellen und Daten.

• Das Kernprinzip konzentriert sich auf die Zertifizierung der Anwendung anstelle des reinen Modells.

• Ein KI-Modell erreicht 97 Prozent bei der Erdung, scheitert jedoch bei mathematischen Aufgaben.

• Die Integration deterministischer Rechen-Tools erhöht die numerische Genauigkeit des Agenten von 60 auf 95 Prozent.

• Fachexperten definieren die Schwellenwerte und Freigabegrenzen für die Produktion.

Timeline

1. 00:00 - 03:05

   Einführung und Relevanz interner Benchmarks

   Regulierte Unternehmen wie Banken nutzen sensible interne Daten und verlassen sich nicht auf öffentlich verfügbare Leistungstests. Am Beispiel eines 10K-Analysten zeigt sich, dass domänenspezifisches Wissen und interne Arbeitsabläufe nicht standardmäßig in Basismodellen verankert sind.

   • Regulierte Branchen ignorieren oft öffentliche Modell-Benchmarks zugunsten interner Anforderungen.
   • Finanzdienstleister behandeln ihre Daten und spezifischen Anwendungsfälle als vertrauliches Geheimrezept.
2. 03:05 - 06:03

   Sicherheitsanforderungen und Anwendungszertifizierung

   Wegen extremer Datensensibilität betreiben Banken eigene GPU-Rechenzentren und vermeiden jeglichen Datenabfluss ins Internet. Um Compliance-Anforderungen und Benutzerakzeptanz zu sichern, ist ein strukturiertes Test- und Freigabeframework für jede Änderung notwendig.

   • Zertifiziert werden produktionsreife Anwendungen anstelle einzelner KI-Modelle.
   • Banken fordern On-Premises-Infrastrukturen, abgeschottete Netzwerke und luftspaltartige (air-gapped) Deployments.
3. 06:03 - 11:32

   Evaluierungsframework und Tool-Nutzung

   Ein goldener Datensatz dient als Qualitätsanker nach dem Software-Engineering-Prinzip der Qualitätssicherung. Während Sprachmodelle stark im Extrahieren von Informationen sind, versagen sie bei reiner Mathematik, weshalb die Berechnungen an deterministische Werkzeuge ausgelagert werden.

   • Die Evaluation basiert auf goldenen Datensätzen als Testgrundlage und erzeugten Traces als Nachweis.
   • Modelle zeigen Schwächen bei Berechnungen, erreichen aber hohe Werte bei der faktenbasierten Erdung.
   • Die Einbindung deterministischer Python-Tools hebt die numerische Genauigkeit signifikant an.
4. 11:32 - 19:12

   Scoring-Dimensionen und menschliche Experten

   Durch die Kombination verschiedener Bewertungsdimensionen und die Einbindung von Fachexperten sinkt der Evaluationsaufwand von Wochen auf Minuten. Am Ende stehen drei Kernregeln: eigene Benchmarks schreiben, die Anwendung statt des Modells absichern und Fachexperten die Freigabegrenzen festlegen lassen.

   • Die Bewertung kombiniert deterministische Scores, Pfadanalysen und LLM-basierte Prüfer.
   • Verletzungen regulatorischer Compliance blockieren den Gang in die Produktion vollständig.
   • Fachexperten steuern über Annotations-Warteschlange und Feedback kontinuierlich den Verbesserungsprozess.