An technische Führungskräfte, die KI-Modelle nach Benchmark-Punkten auswählen

Wenn Sie Engineering Manager sind, prüfen Sie wahrscheinlich zuerst das Hugging Face Leaderboard oder die MMLU-Werte. Seien wir ehrlich: Diese Zahlen haben mit der Praxis nichts zu tun. Akademische Benchmarks spiegeln weder das komplexe Domänenwissen innerhalb eines Unternehmens noch die firmeneigene Tonalität wider. Laut der GSM1K-Studie von Scale AI sank die mathematische Schlussfolgerungsfähigkeit von Modellen um bis zu 13 %, wenn Datenkontaminationen entfernt wurden. Allgemeine Metriken sind lediglich ein Mittel, um zu prüfen, ob ein Modell Daten auswendig gelernt hat – sie verraten Ihnen nicht, wie sich das Modell in Ihrer Produktionsumgebung verhalten wird.

Erstellung eines Golden Datasets mit internen Arbeitsanfragen

Um kein Budget zu verschwenden, sollten Sie Bewertungskriterien auf Basis der tatsächlichen Arbeitsdaten erstellen, die Ihr Team in den letzten 3 Monaten verarbeitet hat.

Wählen Sie 20 Beispiele für Aufgaben aus, die innerhalb des Teams häufig vorkommen, wie z. B. E-Mail-Zusammenfassungen oder Code-Refactoring.
Erstellen Sie für jedes Beispiel ein Paar aus einer bereinigten Frage und einer idealen Antwort.
Gestalten Sie den Datensatz zu 40 % aus normalen Anfragen, zu 30 % aus Anfragen, die gegen Richtlinien verstoßen, und zu 30 % aus Edge-Cases, bei denen Modelle häufig Fehler machen.

Die von einem Senior Developer verfasste ideale Antwort wird für sich genommen zu einer klaren Geschäftsregel. Dieser Datensatz, der mit 20 Beispielen beginnt, kann später zu einer Regressions-Testsuite mit über 150 Einträgen ausgebaut werden.

Bewertungsskripte mit LLMs als Juroren

Es ist unmöglich, dass Menschen jede Antwort des Modells lesen und bewerten. Schreiben Sie ein Python-Skript, das GPT-4o oder Claude 3.5 Sonnet als "Judge" (Juror) nutzt.

`python

LLM-as-a-Judge Bewertungsbeispiel

def evaluate_response(question, response):
prompt = f"""
Bewerte die folgende Antwort anhand der 3 Kriterien mit einem Wert zwischen 0 und 1:
1. Genauigkeit: Sind die Informationen faktisch korrekt?
2. Einhaltung von Vorgaben: Wurde das angeforderte Format eingehalten?
3. Tonalität: Entspricht sie den internen Richtlinien?

Frage: {question}
Antwort: {response}
"""
# API-Aufruf und Ergebnisrückgabe

Um Positions-Bias zu verhindern, sollten Sie die Reihenfolge der Fragen jedes Mal mischen. Shopify hat diese intelligente Bewertungsinfrastruktur internalisiert, die Geschwindigkeit der Validierung von Posteingangsszenarien um 62 % gesteigert und die Antwortkonsistenz bei über 93 % gehalten.

Automatisierung der Bewertung in der CI/CD-Pipeline

Jedes Mal die Qualität manuell zu prüfen, wenn ein Modell ausgetauscht wird, ist Zeitverschwendung.

Schreiben Sie Testcode mit Werkzeugen wie DeepEval oder Promptfoo.
Verknüpfen Sie dies mit GitHub Actions, sodass das Golden Dataset bei jedem neuen PR automatisch ausgeführt wird.
Konfigurieren Sie den Build so, dass er fehlschlägt, wenn die Durchschnittspunktzahl unter 0,85 fällt.

Wenn Sie diese Routine etablieren, kann Ihr Team – ähnlich wie Duolingo, das die manuellen QA-Ressourcen um 70 % senkte – den Zeitaufwand für Regressionstests bei Modell-Upgrades um 80 % reduzieren. Jetzt lässt sich die Machbarkeit einer Modelleinführung innerhalb von 2 Wochen quantitativ überprüfen. Länger darüber nachzudenken ist ineffizient.

An technische Führungskräfte, die KI-Modelle nach Benchmark-Punkten auswählen

Erstellung eines Golden Datasets mit internen Arbeitsanfragen

Um kein Budget zu verschwenden, sollten Sie Bewertungskriterien auf Basis der tatsächlichen Arbeitsdaten erstellen, die Ihr Team in den letzten 3 Monaten verarbeitet hat.

Wählen Sie 20 Beispiele für Aufgaben aus, die innerhalb des Teams häufig vorkommen, wie z. B. E-Mail-Zusammenfassungen oder Code-Refactoring.

Erstellen Sie für jedes Beispiel ein Paar aus einer bereinigten Frage und einer idealen Antwort.

Gestalten Sie den Datensatz zu 40 % aus normalen Anfragen, zu 30 % aus Anfragen, die gegen Richtlinien verstoßen, und zu 30 % aus Edge-Cases, bei denen Modelle häufig Fehler machen.

LLM-as-a-Judge Bewertungsbeispiel

Frage: {question} Antwort: {response} """ # API-Aufruf und Ergebnisrückgabe

Automatisierung der Bewertung in der CI/CD-Pipeline

Jedes Mal die Qualität manuell zu prüfen, wenn ein Modell ausgetauscht wird, ist Zeitverschwendung.

Schreiben Sie Testcode mit Werkzeugen wie DeepEval oder Promptfoo.

Verknüpfen Sie dies mit GitHub Actions, sodass das Golden Dataset bei jedem neuen PR automatisch ausgeführt wird.

Konfigurieren Sie den Build so, dass er fehlschlägt, wenn die Durchschnittspunktzahl unter 0,85 fällt.

An technische Führungskräfte, die KI-Modelle nach Benchmark-Punkten auswählen

관련 영상

Sind KI-Benchmarks etwa gefälscht!?

An technische Führungskräfte, die KI-Modelle nach Benchmark-Punkten auswählen

Erstellung eines Golden Datasets mit internen Arbeitsanfragen

Bewertungsskripte mit LLMs als Juroren

LLM-as-a-Judge Bewertungsbeispiel

Automatisierung der Bewertung in der CI/CD-Pipeline

커뮤니티의 다른 글

사내 시스템에 llm api 붙일 때 마주하는 현실적인 한계와 대응법

레거시 백엔드에 GPT-6 Astra 붙일 때 예산 승인과 보안 통과를 먼저 끝내는 법이 있습니다

에이전트끼리 대화하다 6천만 원 청구서가 나오는 이유

사내 RAG 벡터 검색에 Okta 권한 필터를 직접 거는 방법

브라우저 에이전트에게 내 구글 계정을 통째로 넘기면 안 되는 이유

Apple Won the AI Race

댓글 (0)

An technische Führungskräfte, die KI-Modelle nach Benchmark-Punkten auswählen

Erstellung eines Golden Datasets mit internen Arbeitsanfragen

Bewertungsskripte mit LLMs als Juroren

LLM-as-a-Judge Bewertungsbeispiel

Automatisierung der Bewertung in der CI/CD-Pipeline