致那些依赖基准测试分数选择 AI 模型的技术管理者们

作为工程经理，你可能首先会查看 Hugging Face 排行榜或 MMLU 分数。坦白说，这些数字与实际工作无关。学术界的基准测试根本无法反映企业内部复杂的领域知识或公司独有的语气与风格。根据 Scale AI 的 GSM1K 研究，在去除数据污染后，模型的数学推理能力最多下降了 13%。通用指标只是验证模型是否“背诵”了数据的一种手段，并不能告诉你模型在生产环境中表现如何。

利用内部业务问题集构建黄金数据集

为了避免浪费预算，你需要以团队过去 3 个月处理的实际业务数据为基础来建立评估标准。

从团队内部频繁的任务中挑选出 20 个案例，例如邮件总结、代码重构等。
为每个案例编写经过整理的“问题与理想答案”对。
问题构成：40% 为正常请求，30% 为违反政策的请求，30% 为模型容易出错的边缘情况（edge cases）。

高级开发人员编写的理想答案本身就是明确的业务规则。从这 20 个案例开始，后续可以将其发展为包含 150 个以上用例的回归测试套件。

利用 LLM 作为判分器的评估脚本

让人工去逐一阅读模型回答并打分是不可能的。编写一个 Python 脚本，利用 GPT-4o 或 Claude 3.5 Sonnet 作为判分器（Judge）。

`python

LLM-as-a-Judge 评估示例

def evaluate_response(question, response):
prompt = f"""
请根据以下 3 个标准，对下述回答进行 0 到 1 分的评分：
1. 准确性：信息是否属实？
2. 约束遵守：是否遵守了请求的格式？
3. 语气一致性：是否符合公司准则？

问题: {question}
回答: {response}
"""
# API 调用及结果返回

为了防止位置偏差，请每次随机打乱问题顺序。Shopify 通过内化这种智能评估基础设施，将收件箱场景的验证速度提高了 62%，并将响应一致性保持在 93% 以上。

将评估自动化集成到 CI/CD 流水线中

每次更换模型都进行人工质量检查是在浪费时间。

使用 DeepEval 或 Promptfoo 等工具编写测试代码。
将其连接到 GitHub Actions，每当提交 PR 时自动运行黄金数据集测试。
设置阈值，若平均分低于 0.85 则构建失败。

建立这套流程后，就像 Duolingo 将人工 QA 资源减少了 70% 一样，你的团队也可以将每次模型升级时产生的回归测试时间缩短 80%。现在，你只需两周时间就能定量验证引入模型的可行性。如果在这个问题上纠结超过两周，那就是效率低下。

致那些依赖基准测试分数选择 AI 模型的技术管理者们

利用内部业务问题集构建黄金数据集

为了避免浪费预算，你需要以团队过去 3 个月处理的实际业务数据为基础来建立评估标准。

从团队内部频繁的任务中挑选出 20 个案例，例如邮件总结、代码重构等。

为每个案例编写经过整理的“问题与理想答案”对。

问题构成：40% 为正常请求，30% 为违反政策的请求，30% 为模型容易出错的边缘情况（edge cases）。

高级开发人员编写的理想答案本身就是明确的业务规则。从这 20 个案例开始，后续可以将其发展为包含 150 个以上用例的回归测试套件。

LLM-as-a-Judge 评估示例

问题: {question} 回答: {response} """ # API 调用及结果返回

将评估自动化集成到 CI/CD 流水线中

每次更换模型都进行人工质量检查是在浪费时间。

使用 DeepEval 或 Promptfoo 等工具编写测试代码。

将其连接到 GitHub Actions，每当提交 PR 时自动运行黄金数据集测试。

设置阈值，若平均分低于 0.85 则构建失败。

致那些依赖基准测试分数选择 AI 模型的技术管理者们

관련 영상

AI 基准测试都是造假的！？

致那些依赖基准测试分数选择 AI 模型的技术管理者们

利用内部业务问题集构建黄金数据集

利用 LLM 作为判分器的评估脚本

LLM-as-a-Judge 评估示例

将评估自动化集成到 CI/CD 流水线中

커뮤니티의 다른 글

사내 시스템에 llm api 붙일 때 마주하는 현실적인 한계와 대응법

레거시 백엔드에 GPT-6 Astra 붙일 때 예산 승인과 보안 통과를 먼저 끝내는 법이 있습니다

에이전트끼리 대화하다 6천만 원 청구서가 나오는 이유

사내 RAG 벡터 검색에 Okta 권한 필터를 직접 거는 방법

브라우저 에이전트에게 내 구글 계정을 통째로 넘기면 안 되는 이유

Apple Won the AI Race

댓글 (0)

致那些依赖基准测试分数选择 AI 模型的技术管理者们

利用内部业务问题集构建黄金数据集

利用 LLM 作为判分器的评估脚本

LLM-as-a-Judge 评估示例

将评估自动化集成到 CI/CD 流水线中