在你睡觉时自主进化的智能体 — Fuad Ali，Arize AI

하이라이트

• 智能体具有非确定性特征，这使得排查生产环境中的故障比传统软件工程复杂十倍。

• Arise平台提供名为Signals的开箱即用解决方案，能够自动读取链路追踪数据并与GitHub代码库连接来提出修复方案。

• Wonder Toys演示案例显示，一个简单的查询大小写不匹配问题会导致连续的大语言模型调用，使延迟飙升至14到17秒。

• 系统通过动态测试固件（Failures Dataset）记录过去的错误，随着时间推移有机扩展失败模式的定义，形成自我改进循环。

• 平台支持代码检查、LLM作为裁判以及智能体作为裁判等多种评估（Evals）机制，能够自动检查诸如无效JSON或冗余重试等问题。

• 实验阶段允许在部署前重新运行失败测试用例，通过置信度分数和评估阈值来验证修复效果并防止性能倒退。

• 持续的自动化监控可以每六小时运行一次，自动将失败评估结果添加到数据集中，确保测试夹具随着时间不断增长。

타임라인

1. 00:00 - 05:38

   智能体的非确定性挑战与自我完善循环概述

   演讲者福阿德·阿里介绍了智能体在生产环境中由于非确定性而带来的经典工程难题，例如加拿大汽车经销商聊天机器人漏洞或购物助手错误售卖桌游的案例。为了解决这些痛点，平台引入了能够结合人类与客户反馈的自我改进循环，并简要介绍了跟随操作所需的账号、API密钥及本地运行环境。

   • 智能体的非确定性特征导致传统的工程故障排查变得异常棘手。
   • Arise帮助开发人员为智能体构建自我完善循环，利用人类反馈、客户反馈和实际证据指导改进。
   • 参与者可以注册免费的AriseX账户、准备大模型API密钥，并使用Node和Python在本地运行演示应用。
2. 05:38 - 19:00

   链路追踪与Signals自动化故障聚类

   本节探讨了团队在追踪智能体行为时的不同成熟度阶段。通过AX CLI可以非常简单地实现自动插桩，获取跨度和模型调用的基础数据。随后介绍了Signals的功能：它能够定期审查追踪数据，对失败情况进行聚类分析，并直接编写Pull Request来修复根本原因，从而免去人类在凌晨4点处理告警的痛苦。

   • 团队可以通过引导式设置轻松对智能体进行链路追踪插桩，捕获开始时间、延迟、输入和元数据。
   • Signals作为常驻智能体，按计划读取追踪数据并连接GitHub代码库以提出针对性的修复方案。
   • Wonder Toys演示中发现的Bug导致产品类别 Slug 大小写不匹配，进而引发了冗余的搜索重试和高延迟。
3. 19:00 - 26:48

   动态测试固件与多层评估机制

   持续改进的核心在于记录过去失败的内容并作为回归检查点。演讲者解释了如何通过动态测试固件将失败行为代码化，并详细对比了低成本的确切代码检查、高成本的LLM裁判以及决策模型。这些评估能够自动捕获诸如冗余重试等错误，并在生产数据中监控其费用和健康状况。

   • 将失败案例添加到数据集中可以建立随时间不断增长的动态固件，有机扩展失败模式的定义。
   • 平台支持确定性代码检查、定性分析的LLM作为裁判以及复杂的智能体作为裁判等多种评估形式。
   • 通过平台的一键创建功能，可以基于追踪证据将未来的期望行为代码化为评估器。
4. 26:48 - 52:53

   智能体实验验证与端到端自我进化愿景

   在获得修复方案和评估后，必须通过实验阶段来证明其有效性。系统会重新运行失败的测试用例并测量延迟或重试次数，确保没有引发下游连锁反应。最后，演讲者总结了如何通过自动路由将低置信度案例分发给人类审核，并强调将人类判断、评估分数和追踪证据保存在同一个地方是构建自我改进循环的唯一方法。

   • 实验阶段允许在失败测试案例上重新运行修复后的智能体，通过评分阈值证明修复有效且没有破坏其他功能。
   • 人类的核心价值在于验证PR、设计评估标准以及对低置信度结果进行批注队列处理。
   • 未来的愿景是实现从问题到实验的一键式转化，在零人工参与的情况下持续运行循环并优化系统成本。