构建AI智能体很简单，证明其安全性却很难 - 乔纳森·奥斯本 (Jonathan Osborne)，NatWest

Highlights

• 国民西敏寺集团拥有1900万零售客户，其数字助手Quora每天处理大约10万次对话。

• 该集团从今年开始将Quora中约三分之一的业务流程转变为由RAG支持的AI生成回答及智能体。

• 在针对支付智能体的验证中，整体通过率为83%，其中常规顺利场景为97%，而话题变更等边缘情况仅为43%。

• 采用大模型作为裁判时，裁判模型本身会成为配置的一部分，更换裁判模型会导致评分指标发生剧烈波动。

Timeline

1. 00:00 - 04:49

   银行环境中AI智能体的应用背景与挑战

   随着客户对数字化服务要求的提高，银行开始引入由RAG和智能体支持的动态回答系统。然而，拥有庞大客户基数意味着任何微小的失误都会带来巨大的声誉风险和监管压力。由于智能体具备推理和生成能力，传统的回归测试已无法完全覆盖其潜在风险。

   • 国民西敏寺集团拥有1900万零售客户，数字助手Quora每天处理约10万次对话。
   • 传统脚本化方案在处理复杂查询或话题偏离时表现糟糕，促使银行转向AI智能体。
   • 智能体带来了幻觉、提示词注入、绕圈子和非确定性这四种传统软件工程中不会遇到的失效模式。
2. 04:49 - 06:38

   缩小攻击面与路由漏斗的设计

   为了在将流量导向大模型前确保安全，系统设置了多层过滤机制，包括上下文过滤器、预分类规则、相关性重新表述步骤以及意图分类器。这种架构满足了银行对访问控制、完全可审计性、系统韧性及灵活治理的严格要求。

   • 引入“路由漏斗”来过滤上下文并进行预分类，在启动模型前限制攻击面。
   • 采用确定性规则结合基于嵌入的意图分类器，确保访问控制和可审计性。
   • 通过版本化配置实现对市场变化的快速反应，无需进行完整的重新部署。
3. 06:38 - 09:16

   多维度评估指标与人工验证

   单一的总体通过率指标会掩盖系统在边缘情况下的严重缺陷。通过对支付智能体进行多维度的人工评分验证，团队发现话题变更等复杂交互的通过率远低于预期，这凸显了精细化监控不同失效类型的重要性。

   • 废弃单一的准确率分数，转而从安全性、任务完成度和体验三个维度构建评估向量。
   • 支付智能体的人工验证显示，常规场景通过率为97%，话题变更等边缘情况仅为43%。
   • 人类验证者在客观问题上的一致率为95%，但在主观意图理解上仅为64%。
4. 09:16 - 14:02

   大模型裁判与生产环境监控

   自动化评估采用大模型作为裁判，但裁判模型的选择和校准至关重要。团队将裁判迁移到不同的模型系列以消除盲区，并通过开源标准和Comet平台在隔离环境中实现实时追踪、每四小时离线评分以及CI/CD回归门槛检查。

   • 内部投诉代理项目结合了人类验证者和大模型裁判进行评分与忠实度追踪。
   • 裁判模型本身会引入破坏性变更，因此需要让裁判与被评审对象采用不同的模型系列。
   • 在完全隔离的环境中通过私有路径和AWS使用Comet，实现实时追踪与离线评分。
5. 14:02 - 17:52

   影子部署与灰度发布策略

   为了安全地将智能体推向生产环境，团队首先采用影子部署模式，在不直接响应客户的情况下利用真实数据测试分类效果。结合品牌维度的灰度发布、特性开关以及投诉处理项目中的高质量反馈闭环，银行得以在严格监管下稳步推进AI系统的上线。

   • 通过影子部署在零风险状态下收集真实生产数据，打破监管审批与获取真实数据的僵局。
   • 按品牌逐步灰度发布，并配备全局特性开关以便在几秒钟内切回脚本化解决方案。
   • 持续评估是生产基础设施的一部分，有助于在系统上线前确保安全合规。