Written with AI assistance from the source video. The video is the authority.
5:39Better Stack
Log in to leave a comment
No posts yet
Se você é um gestor de engenharia, provavelmente começa verificando o ranking do Hugging Face ou as pontuações no MMLU. Vamos ser sinceros: esses números não têm relação com a prática. Benchmarks acadêmicos não refletem em nada o conhecimento de domínio complexo interno de uma empresa ou o tom de voz específico da sua organização. De acordo com o estudo GSM1K da Scale AI, a capacidade de raciocínio matemático dos modelos caiu até 13% quando a contaminação de dados foi eliminada. Indicadores genéricos servem apenas para verificar se o modelo decorou os dados, não informando como ele se comportará em seu ambiente de produção.
Para não desperdiçar orçamento, você deve definir critérios de avaliação com base nos dados de trabalho reais que a sua equipe processou nos últimos 3 meses.
A resposta ideal escrita por um desenvolvedor sênior torna-se, por si só, uma regra de negócio clara. Este conjunto de dados inicial de 20 itens pode ser evoluído posteriormente para uma suíte de testes de regressão com mais de 150 casos.
É impossível para uma pessoa ler e pontuar cada resposta do modelo. Escreva um script em Python que utilize o GPT-4o ou o Claude 3.5 Sonnet como avaliadores (Judges).
`python
def evaluate_response(question, response):
prompt = f"""
아래 답변을 다음 3가지 기준으로 0점에서 1점 사이로 채점하라:
1. 정확성: 정보가 사실인가?
2. 제약조건 준수: 요청한 형식을 지켰는가?
3. 어조 일치: 사내 가이드라인에 부합하는가?
질문: {question}
답변: {response}
"""
# API 호출 및 결과 반환
`
Para evitar o viés de posição, embaralhe a ordem das perguntas a cada execução. A Shopify internalizou essa infraestrutura de avaliação inteligente, aumentando a velocidade de validação de cenários de caixa de entrada (inbox) em 62% e mantendo a consistência das respostas acima de 93%.
É perda de tempo verificar manualmente a qualidade toda vez que um modelo é substituído.
Com essa rotina, assim como a Duolingo reduziu os recursos de QA manual em 70%, sua equipe também pode reduzir em 80% o tempo gasto com testes de regressão a cada atualização de modelo. Agora, você pode validar a viabilidade de adotar um modelo quantitativamente em 2 semanas. Refletir mais do que isso é ineficiente.