Written with AI assistance from the source video. The video is the authority.
5:39Better Stack
Log in to leave a comment
No posts yet
Wenn Sie Engineering Manager sind, prüfen Sie wahrscheinlich zuerst das Hugging Face Leaderboard oder die MMLU-Werte. Seien wir ehrlich: Diese Zahlen haben mit der Praxis nichts zu tun. Akademische Benchmarks spiegeln weder das komplexe Domänenwissen innerhalb eines Unternehmens noch die firmeneigene Tonalität wider. Laut der GSM1K-Studie von Scale AI sank die mathematische Schlussfolgerungsfähigkeit von Modellen um bis zu 13 %, wenn Datenkontaminationen entfernt wurden. Allgemeine Metriken sind lediglich ein Mittel, um zu prüfen, ob ein Modell Daten auswendig gelernt hat – sie verraten Ihnen nicht, wie sich das Modell in Ihrer Produktionsumgebung verhalten wird.
Um kein Budget zu verschwenden, sollten Sie Bewertungskriterien auf Basis der tatsächlichen Arbeitsdaten erstellen, die Ihr Team in den letzten 3 Monaten verarbeitet hat.
Die von einem Senior Developer verfasste ideale Antwort wird für sich genommen zu einer klaren Geschäftsregel. Dieser Datensatz, der mit 20 Beispielen beginnt, kann später zu einer Regressions-Testsuite mit über 150 Einträgen ausgebaut werden.
Es ist unmöglich, dass Menschen jede Antwort des Modells lesen und bewerten. Schreiben Sie ein Python-Skript, das GPT-4o oder Claude 3.5 Sonnet als "Judge" (Juror) nutzt.
`python
def evaluate_response(question, response):
prompt = f"""
Bewerte die folgende Antwort anhand der 3 Kriterien mit einem Wert zwischen 0 und 1:
1. Genauigkeit: Sind die Informationen faktisch korrekt?
2. Einhaltung von Vorgaben: Wurde das angeforderte Format eingehalten?
3. Tonalität: Entspricht sie den internen Richtlinien?
Frage: {question}
Antwort: {response}
"""
# API-Aufruf und Ergebnisrückgabe
`
Um Positions-Bias zu verhindern, sollten Sie die Reihenfolge der Fragen jedes Mal mischen. Shopify hat diese intelligente Bewertungsinfrastruktur internalisiert, die Geschwindigkeit der Validierung von Posteingangsszenarien um 62 % gesteigert und die Antwortkonsistenz bei über 93 % gehalten.
Jedes Mal die Qualität manuell zu prüfen, wenn ein Modell ausgetauscht wird, ist Zeitverschwendung.
Wenn Sie diese Routine etablieren, kann Ihr Team – ähnlich wie Duolingo, das die manuellen QA-Ressourcen um 70 % senkte – den Zeitaufwand für Regressionstests bei Modell-Upgrades um 80 % reduzieren. Jetzt lässt sich die Machbarkeit einer Modelleinführung innerhalb von 2 Wochen quantitativ überprüfen. Länger darüber nachzudenken ist ineffizient.