A los gerentes técnicos que eligen modelos de IA basándose en puntuaciones de referencia

Si usted es un gerente de ingeniería, probablemente comience revisando la tabla de clasificación de Hugging Face o las puntuaciones MMLU. Seamos honestos. Esos números no tienen relación con el trabajo real. Los benchmarks académicos no reflejan en absoluto el conocimiento complejo del dominio interno de una empresa ni el tono y estilo únicos de nuestra compañía. Según el estudio GSM1K de Scale AI, al eliminar la contaminación de datos, la capacidad de razonamiento matemático de los modelos cayó hasta un 13%. Los indicadores de propósito general son solo un medio para verificar si el modelo ha memorizado datos, pero no le dicen cómo funcionará el modelo en su entorno de producción.

Crear un "Golden Dataset" con conjuntos de preguntas de trabajo interno

Para no desperdiciar presupuesto, debe establecer criterios de evaluación basados en datos de trabajo reales que su equipo haya manejado en los últimos 3 meses.

Seleccione 20 ejemplos de tareas frecuentes dentro del equipo, como resúmenes de correos electrónicos o refactorización de código.
Para cada caso, cree pares de preguntas refinadas y respuestas ideales.
Configure el 40% de las preguntas como solicitudes normales, el 30% como solicitudes que violan políticas y el 30% como casos extremos (edge cases) en los que el modelo tiende a equivocarse.

Las respuestas ideales escritas por un desarrollador senior se convierten en reglas de negocio claras por sí mismas. Este conjunto de datos, que comienza con 20 ejemplos, puede desarrollarse posteriormente en una suite de pruebas de regresión de más de 150 casos.

Utilizar LLM como juez para scripts de evaluación

Es imposible que una persona lea y califique las respuestas del modelo una por una. Escriba un script en Python que utilice GPT-4o o Claude 3.5 Sonnet como juez (Judge) para evaluar las respuestas.

`python

LLM-as-a-Judge 평가 예시

def evaluate_response(question, response):
prompt = f"""
아래 답변을 다음 3가지 기준으로 0점에서 1점 사이로 채점하라:
1. 정확성: 정보가 사실인가?
2. 제약조건 준수: 요청한 형식을 지켰는가?
3. 어조 일치: 사내 가이드라인에 부합하는가?

질문: {question}
답변: {response}
"""
# API 호출 및 결과 반환

Para evitar el sesgo posicional, mezcle el orden de las preguntas cada vez. Shopify internalizó esta infraestructura de evaluación inteligente, lo que aumentó la velocidad de validación de los escenarios de la bandeja de entrada en un 62% y mantuvo la coherencia de las respuestas por encima del 93%.

Integrar la automatización de evaluaciones en el pipeline CI/CD

Es una pérdida de tiempo verificar manualmente la calidad cada vez que se reemplaza un modelo.

Utilice herramientas como DeepEval o Promptfoo para escribir código de prueba.
Conéctelo a GitHub Actions para ejecutar automáticamente el "Golden Dataset" cada vez que se suba un PR.
Configure la compilación para que falle si el puntaje promedio cae por debajo de 0.85.

Al establecer esta rutina, al igual que Duolingo redujo sus recursos de control de calidad (QA) manual en un 70%, su equipo también puede reducir el tiempo de pruebas de regresión que ocurre cada vez que se actualiza un modelo en un 80%. Ahora, en 2 semanas puede verificar cuantitativamente la viabilidad de implementar un modelo. Pensar en ello durante más tiempo es ineficiente.

A los gerentes técnicos que eligen modelos de IA basándose en puntuaciones de referencia

Crear un "Golden Dataset" con conjuntos de preguntas de trabajo interno

Para no desperdiciar presupuesto, debe establecer criterios de evaluación basados en datos de trabajo reales que su equipo haya manejado en los últimos 3 meses.

Seleccione 20 ejemplos de tareas frecuentes dentro del equipo, como resúmenes de correos electrónicos o refactorización de código.

Para cada caso, cree pares de preguntas refinadas y respuestas ideales.

Configure el 40% de las preguntas como solicitudes normales, el 30% como solicitudes que violan políticas y el 30% como casos extremos (edge cases) en los que el modelo tiende a equivocarse.

LLM-as-a-Judge 평가 예시

질문: {question} 답변: {response} """ # API 호출 및 결과 반환

Integrar la automatización de evaluaciones en el pipeline CI/CD

Es una pérdida de tiempo verificar manualmente la calidad cada vez que se reemplaza un modelo.

Utilice herramientas como DeepEval o Promptfoo para escribir código de prueba.

Conéctelo a GitHub Actions para ejecutar automáticamente el "Golden Dataset" cada vez que se suba un PR.

Configure la compilación para que falle si el puntaje promedio cae por debajo de 0.85.

A los gerentes técnicos que eligen modelos de IA basándose en puntuaciones de referencia

관련 영상

¿Las pruebas comparativas de IA son falsas?

A los gerentes técnicos que eligen modelos de IA basándose en puntuaciones de referencia

Crear un "Golden Dataset" con conjuntos de preguntas de trabajo interno

Utilizar LLM como juez para scripts de evaluación

LLM-as-a-Judge 평가 예시

Integrar la automatización de evaluaciones en el pipeline CI/CD

커뮤니티의 다른 글

사내 시스템에 llm api 붙일 때 마주하는 현실적인 한계와 대응법

레거시 백엔드에 GPT-6 Astra 붙일 때 예산 승인과 보안 통과를 먼저 끝내는 법이 있습니다

에이전트끼리 대화하다 6천만 원 청구서가 나오는 이유

사내 RAG 벡터 검색에 Okta 권한 필터를 직접 거는 방법

브라우저 에이전트에게 내 구글 계정을 통째로 넘기면 안 되는 이유

Apple Won the AI Race

댓글 (0)

A los gerentes técnicos que eligen modelos de IA basándose en puntuaciones de referencia

Crear un "Golden Dataset" con conjuntos de preguntas de trabajo interno

Utilizar LLM como juez para scripts de evaluación

LLM-as-a-Judge 평가 예시

Integrar la automatización de evaluaciones en el pipeline CI/CD