我们不断重建我们的 AI 代理。以下是幸存下来的内容 - Fuad Ali，Arize AI

하이라이트

• 在2023年底的第一个原型中，配合类似3.5时代的模型，系统存在大约50%的幻觉率和50%的有用内容。

• 通过将许多数学计算移出大语言模型、放到外围控制代码中，系统成功避开了早期模型不擅长数学的缺陷。

• 系统在长期记忆的实现上放弃了复杂的向量检索、情景和语义存储以及时间知识图谱，最终确定使用每个用户单个、最大8,000个字符的Markdown文件。

• 系统在2025年8月重写了大部分代码，引入了迭代式工具调用和一个待办事项工具，使代理能够实际规划正在做的事情。

• 系统在2026年6月发布了“One Alex”，放弃了专家代理模式，改为使用按需加载技能指令和工具的单一代理。

타임라인

1. 00:00 - 05:57

   项目背景与演进历程

   演讲开篇介绍了元编程的视角，展示了如何利用名为Alex的代理来调试Alex自身，并通过另一个名为Signal的代理读取跟踪记录。早期原型受限于3.5时代的模型，存在较高的幻觉率。随着时间推移，团队不断优化架构，将核心逻辑置于外围控制代码中，而不是依赖模型自带的能力。

   • 演讲者Fouad Ali在Arise AI从事产品工作，负责内部产品Alex的开发与调试。
   • Alex是一个可以读取跟踪记录、构建评估集、规划多步骤任务并创建合成数据的内部AI代理。
   • 项目经历了从2023年底的原型、2025年8月的重写、2026年2月的Alex 2.0发布，到2026年6月“One Alex”的合并。
2. 05:57 - 09:44

   规划、结束规则与工具调用优化

   在处理任务规划时，团队发现直接给模型提供待办列表会导致模型陷入频繁更新列表的循环中。为此，团队逐步将状态维护移交给执行框架。同时，为了适应不同用户选择的外部模型提供商，系统设定了明确的完成关卡和迭代限制，以防范未知模型的崩溃风险。

   • 模型对待办事项列表表现得非常急切，会将大量时间消耗在勾选待办上而产出甚少。
   • 系统最终将计划移到了执行框架中，并将计划作为消息传入，使模型更容易理解当前进度。
   • 针对对话结束的问题，系统放弃了不带工具调用的文本形式，转而采用由框架强制执行的明确完成调用。
3. 09:44 - 15:26

   记忆管理、单代理架构与模型选择

   面对工具结果过大和跨会话记忆的问题，团队摒弃了复杂的知识图谱、向量检索和情景存储，回归简单的单文件方案。这不仅避免了过度设计，还便于人工审计标注。在模型选择上，团队认为最新的前沿模型并非总是最优解，通常默认选择快速且够用的模型，并将重心放在框架优化上。

   • 系统通过在JSON内部进行截断或利用代码工具查询，避免巨量信息撑爆上下文窗口。
   • 长期记忆最终简化为每个用户一个最大8,000字符的Markdown文件，由后台任务在会话结束后写入。
   • 系统放弃了多专家代理模式，改用单一代理按需加载技能指令和工具。
4. 15:26 - 19:57

   生产环境测试、错误检测与核心要素总结

   演讲最后强调了生产会话在测试中的重要性，并指出自动化检查工具Signal能够有效帮助团队发现隐藏的错误。尽管自动化程度在提高，人类在对齐评估标准、权衡速度与质量方面仍然发挥着不可替代的作用。最后，Fouad Ali列举了架构重构后保留的核心要素，并鼓励开发者进行技术交流。

   • 生产环境中的实时会话数据被直接用作回归测试和构建数据集的基础资产。
   • 代理中的错误很少表现为显式异常，而是体现为重复调用或延迟等定性与性能指标。
   • 系统保留了追踪、代码处理数学、CI黄金数据集、错误修复、流式传输与持久化以及技能这六个核心要素。