Para gestores técnicos que escolhem modelos de IA baseando-se apenas em pontuações de benchmark

Se você é um gestor de engenharia, provavelmente começa verificando o ranking do Hugging Face ou as pontuações no MMLU. Vamos ser sinceros: esses números não têm relação com a prática. Benchmarks acadêmicos não refletem em nada o conhecimento de domínio complexo interno de uma empresa ou o tom de voz específico da sua organização. De acordo com o estudo GSM1K da Scale AI, a capacidade de raciocínio matemático dos modelos caiu até 13% quando a contaminação de dados foi eliminada. Indicadores genéricos servem apenas para verificar se o modelo decorou os dados, não informando como ele se comportará em seu ambiente de produção.

Criando um conjunto de dados "Golden" com perguntas de trabalho internas

Para não desperdiçar orçamento, você deve definir critérios de avaliação com base nos dados de trabalho reais que a sua equipe processou nos últimos 3 meses.

Selecione 20 exemplos de tarefas frequentes na equipe, como resumos de e-mail ou refatoração de código.
Crie pares de perguntas refinadas e respostas ideais para cada caso.
Componha o conjunto de perguntas sendo 40% solicitações normais, 30% solicitações que violam políticas e 30% casos extremos (edge cases) onde o modelo tende a errar.

A resposta ideal escrita por um desenvolvedor sênior torna-se, por si só, uma regra de negócio clara. Este conjunto de dados inicial de 20 itens pode ser evoluído posteriormente para uma suíte de testes de regressão com mais de 150 casos.

Usando LLMs como avaliadores em scripts de avaliação

É impossível para uma pessoa ler e pontuar cada resposta do modelo. Escreva um script em Python que utilize o GPT-4o ou o Claude 3.5 Sonnet como avaliadores (Judges).

`python

LLM-as-a-Judge 평가 예시

def evaluate_response(question, response):
prompt = f"""
아래 답변을 다음 3가지 기준으로 0점에서 1점 사이로 채점하라:
1. 정확성: 정보가 사실인가?
2. 제약조건 준수: 요청한 형식을 지켰는가?
3. 어조 일치: 사내 가이드라인에 부합하는가?

질문: {question}
답변: {response}
"""
# API 호출 및 결과 반환

Para evitar o viés de posição, embaralhe a ordem das perguntas a cada execução. A Shopify internalizou essa infraestrutura de avaliação inteligente, aumentando a velocidade de validação de cenários de caixa de entrada (inbox) em 62% e mantendo a consistência das respostas acima de 93%.

Integrando a automação de avaliação no pipeline de CI/CD

É perda de tempo verificar manualmente a qualidade toda vez que um modelo é substituído.

Use ferramentas como DeepEval ou Promptfoo para escrever códigos de teste.
Conecte-os ao GitHub Actions para rodar automaticamente o conjunto de dados "Golden" toda vez que um PR for aberto.
Configure para que o build falhe caso a pontuação média caia abaixo de 0,85.

Com essa rotina, assim como a Duolingo reduziu os recursos de QA manual em 70%, sua equipe também pode reduzir em 80% o tempo gasto com testes de regressão a cada atualização de modelo. Agora, você pode validar a viabilidade de adotar um modelo quantitativamente em 2 semanas. Refletir mais do que isso é ineficiente.

Para gestores técnicos que escolhem modelos de IA baseando-se apenas em pontuações de benchmark

Criando um conjunto de dados "Golden" com perguntas de trabalho internas

Para não desperdiçar orçamento, você deve definir critérios de avaliação com base nos dados de trabalho reais que a sua equipe processou nos últimos 3 meses.

Selecione 20 exemplos de tarefas frequentes na equipe, como resumos de e-mail ou refatoração de código.

Crie pares de perguntas refinadas e respostas ideais para cada caso.

Componha o conjunto de perguntas sendo 40% solicitações normais, 30% solicitações que violam políticas e 30% casos extremos (edge cases) onde o modelo tende a errar.

LLM-as-a-Judge 평가 예시

질문: {question} 답변: {response} """ # API 호출 및 결과 반환

Integrando a automação de avaliação no pipeline de CI/CD

É perda de tempo verificar manualmente a qualidade toda vez que um modelo é substituído.

Use ferramentas como DeepEval ou Promptfoo para escrever códigos de teste.

Conecte-os ao GitHub Actions para rodar automaticamente o conjunto de dados "Golden" toda vez que um PR for aberto.

Configure para que o build falhe caso a pontuação média caia abaixo de 0,85.

Para gestores técnicos que escolhem modelos de IA baseando-se apenas em pontuações de benchmark

관련 영상

Os benchmarks de IA são falsos!?

Para gestores técnicos que escolhem modelos de IA baseando-se apenas em pontuações de benchmark

Criando um conjunto de dados "Golden" com perguntas de trabalho internas

Usando LLMs como avaliadores em scripts de avaliação

LLM-as-a-Judge 평가 예시

Integrando a automação de avaliação no pipeline de CI/CD

커뮤니티의 다른 글

사내 시스템에 llm api 붙일 때 마주하는 현실적인 한계와 대응법

레거시 백엔드에 GPT-6 Astra 붙일 때 예산 승인과 보안 통과를 먼저 끝내는 법이 있습니다

에이전트끼리 대화하다 6천만 원 청구서가 나오는 이유

사내 RAG 벡터 검색에 Okta 권한 필터를 직접 거는 방법

브라우저 에이전트에게 내 구글 계정을 통째로 넘기면 안 되는 이유

Apple Won the AI Race

댓글 (0)

Para gestores técnicos que escolhem modelos de IA baseando-se apenas em pontuações de benchmark

Criando um conjunto de dados "Golden" com perguntas de trabalho internas

Usando LLMs como avaliadores em scripts de avaliação

LLM-as-a-Judge 평가 예시

Integrando a automação de avaliação no pipeline de CI/CD