如何编写你的第一个 AI 评估 - SallyAnn DeLucia, Arize AI
원제 · How to Write Your First AI Eval - SallyAnn DeLucia, Arize AI
핵심 요약
没有评估的介入，开发人员在修改智能体提示词或模型版本时将无法客观比较性能或检测出退化。
하이라이트
人工智能评估充当智能体的主要信号，使开发人员能够在修改提示词或切换模型时检测性能退化。
追踪记录捕捉智能体生成响应所执行的所有步骤，而评估则提供真正的测试来衡量智能体表现。
大模型作为裁判使用第二个语言模型并要求其对智能体表现进行评分，从而返回标签和详细的推理解释。
构建评估是一个迭代过程，建议从单个质量维度和一个简单的评估指标开始，随后随着应用规模扩大逐步增加。
决策模型作为一种更新且更经济的评估类型，能够在输出中直接提供概率或标签，而无需返回文字解释。
타임라인
人工智能评估的基础概念与重要性
主讲人回顾了在 Arise 从事人工智能智能体与评估产品开发的经历，阐明了评估在系统生命周期中的关键作用。没有明确的评估指标，团队将无法在更新提示词或更换模型版本时客观比较性能，也无法证明某个失效用例是否得到了真正修复。
- 评估充当人工智能智能体的主要信号，为衡量系统表现提供核心依据。
- 凭感觉检查无法在修改提示词时检测性能退化，也无法在 CI 流程中设置官方质量关卡。
- 传统软件测试依赖单一输入和确定性输出，而人工智能智能体涉及复杂的内部逻辑，因此需要专门的评估方法。
追踪记录与不同类型的评估方法
本段详细介绍了追踪记录的实际构成，包括根跨度、工具跨度和大模型调用跨度之间的层级关系。同时分类介绍了大模型裁判、决策模型、代码评估、标注数据以及智能体作为裁判等多种评估类型的特点与应用场景。
- 追踪记录展示了智能体为返回响应所采取的各个独立步骤、工具调用和多步交互。
- 大模型作为裁判通过第二个语言模型对智能体进行评分并输出标签与解释。
- 基于代码的评估适用于确定性测试，例如检查特定词语是否存在或验证 JSON 格式。
编写评估标准与在平台中构建裁判
主讲人引导观众通过 Arise 平台进行实操，演示了如何将链路追踪数据导入数据集并在游乐场中构建、测试和保存评估裁判。最后强调了多利益相关者共同参与评估以及从小规模数据开始迭代的最佳实践。
- 定义评估的第一步是明确什么是好，并针对特定任务设定具体的通过与失败标准。
- 每次评估应专注于判断一个质量维度，并随着应用演进而逐步增加更多评估指标。
- 通过提示词游乐场加载数据集和变量映射，开发人员可以测试并迭代评估提示词的运行结果。
설명
A hands-on workshop from SallyAnn DeLucia, head of product at Arize AI, on moving from vibe checks to real evals. She covers what an eval is and how it differs from a unit test, the main types (LLM as a judge, decision models, code evals, annotations, agent as a judge), how to read a trace, how to write concrete pass/fail criteria, and how to build and iterate on an LLM judge in Arize's prompt playground. Chapters 00:00 Intro and agenda 02:06 Why vibe checks don't scale 03:08 Is an eval just a unit test? 04:13 Why agents make evals harder 05:15 Types of evals 07:29 Workshop setup 10:16 Exploring the travel agent's traces 14:20 How to read a trace 19:03 Defining what good means 22:02 Writing pass/fail criteria 25:19 Building a dataset from traces 26:53 Building and testing an LLM judge 32:08 Next steps: alignment, online evals, Signal SallyAnn DeLucia, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!