Written with AI assistance from the source video. The video is the authority.
5:39Better Stack
Log in to leave a comment
No posts yet
En tant que responsable technique, vous vérifiez probablement d'abord le classement Hugging Face ou les scores MMLU. Soyons honnêtes : ces chiffres n'ont aucun rapport avec la réalité du terrain. Les benchmarks académiques ne reflètent en rien les connaissances complexes liées au domaine interne ou le ton propre à votre entreprise. Selon l'étude GSM1K de Scale AI, lorsque la contamination des données est éliminée, les capacités de raisonnement mathématique des modèles chutent jusqu'à 13 %. Les indicateurs généralistes ne sont qu'un moyen de vérifier si un modèle a mémorisé des données ; ils ne vous disent pas comment il se comportera dans votre environnement de production.
Pour éviter de gaspiller votre budget, vous devez établir des critères d'évaluation basés sur les données réelles traitées par votre équipe au cours des trois derniers mois.
La réponse idéale rédigée par un développeur senior constitue en elle-même une règle métier claire. Ce jeu de données, qui commence avec 20 éléments, pourra par la suite évoluer vers une suite de tests de régression comptant plus de 150 éléments.
Il est impossible pour un humain de lire et de noter manuellement les réponses du modèle. Écrivez un script Python qui utilise GPT-4o ou Claude 3.5 Sonnet comme juge (Judge).
`python
def evaluate_response(question, response):
prompt = f"""
아래 답변을 다음 3가지 기준으로 0점에서 1점 사이로 채점하라:
1. 정확성: 정보가 사실인가?
2. 제약조건 준수: 요청한 형식을 지켰는가?
3. 어조 일치: 사내 가이드라인에 부합하는가?
질문: {question}
답변: {response}
"""
# API 호출 및 결과 반환
`
Pour éviter tout biais de position, mélangez l'ordre des questions à chaque fois. Shopify a internalisé cette infrastructure d'évaluation intelligente, ce qui a permis d'augmenter la vitesse de validation des scénarios de boîte de réception de 62 % et de maintenir une cohérence des réponses supérieure à 93 %.
C'est une perte de temps de vérifier manuellement la qualité à chaque remplacement de modèle.
En mettant en place cette routine, tout comme Duolingo a réduit ses ressources de QA manuelles de 70 %, votre équipe pourra réduire de 80 % le temps consacré aux tests de régression lors de chaque mise à niveau de modèle. Désormais, deux semaines suffisent pour valider quantitativement la pertinence de l'adoption d'un modèle. Passer plus de temps à s'interroger serait inefficace.