Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
Si usted es un gerente de ingeniería, probablemente comience revisando la tabla de clasificación de Hugging Face o las puntuaciones MMLU. Seamos honestos. Esos números no tienen relación con el trabajo real. Los benchmarks académicos no reflejan en absoluto el conocimiento complejo del dominio interno de una empresa ni el tono y estilo únicos de nuestra compañía. Según el estudio GSM1K de Scale AI, al eliminar la contaminación de datos, la capacidad de razonamiento matemático de los modelos cayó hasta un 13%. Los indicadores de propósito general son solo un medio para verificar si el modelo ha memorizado datos, pero no le dicen cómo funcionará el modelo en su entorno de producción.
Para no desperdiciar presupuesto, debe establecer criterios de evaluación basados en datos de trabajo reales que su equipo haya manejado en los últimos 3 meses.
Las respuestas ideales escritas por un desarrollador senior se convierten en reglas de negocio claras por sí mismas. Este conjunto de datos, que comienza con 20 ejemplos, puede desarrollarse posteriormente en una suite de pruebas de regresión de más de 150 casos.
Es imposible que una persona lea y califique las respuestas del modelo una por una. Escriba un script en Python que utilice GPT-4o o Claude 3.5 Sonnet como juez (Judge) para evaluar las respuestas.
`python
def evaluate_response(question, response):
prompt = f"""
아래 답변을 다음 3가지 기준으로 0점에서 1점 사이로 채점하라:
1. 정확성: 정보가 사실인가?
2. 제약조건 준수: 요청한 형식을 지켰는가?
3. 어조 일치: 사내 가이드라인에 부합하는가?
질문: {question}
답변: {response}
"""
# API 호출 및 결과 반환
`
Para evitar el sesgo posicional, mezcle el orden de las preguntas cada vez. Shopify internalizó esta infraestructura de evaluación inteligente, lo que aumentó la velocidad de validación de los escenarios de la bandeja de entrada en un 62% y mantuvo la coherencia de las respuestas por encima del 93%.
Es una pérdida de tiempo verificar manualmente la calidad cada vez que se reemplaza un modelo.
Al establecer esta rutina, al igual que Duolingo redujo sus recursos de control de calidad (QA) manual en un 70%, su equipo también puede reducir el tiempo de pruebas de regresión que ocurre cada vez que se actualiza un modelo en un 80%. Ahora, en 2 semanas puede verificar cuantitativamente la viabilidad de implementar un modelo. Pensar en ello durante más tiempo es ineficiente.