300个代理，60个人：我们如何保护自己的AI代理 - Aiden Sochowski，Runlayer

하이라이트

• 一家拥有50到60名员工的公司每天运行超过300个AI智能体，智能体数量超过了实际运行它们的人数。

• 编写糟糕的MCP服务器会导致程序不断报错，从而使输入和输出Token的费用随时间推移而大幅累积。

• 从低成本模型切换到高性能模型会使系统运行成本在一周内飙升100多倍。

타임라인

1. 00:00 - 03:35

   内部智能体的可见性缺失与监控挑战

   许多智能体运行在非托管设备上，且通过各种触发器和SaaS应用程序无处不在。由于每个工具调用都构成了攻击面，带来了读取敌意数据、破坏性行动以及数据外泄的机会，团队必须部署网关来集中记录所有会话和工具调用。

   • 公司内部普遍存在对运行中的MCP客户端和智能体的零可见性与缺乏审计记录的现象。
   • 一家拥有50至60人的公司每天运行着300多个无需用户手动触发的AI智能体。
   • 智能体连接了为不同时代构建的系统，加速并放大了混合数据的安全风险。
2. 03:35 - 08:38

   入站与出站策略及上下文关联的防护难度

   定义规范组织内智能体行为的策略非常棘手，因为某项操作在特定情境下可能是安全的。尽管可以训练分类器模型审查入站电子邮件中的指令，但防止智能体在多轮对话中逐渐偏离预定义任务依然具有高度挑战性。

   • 恶意入站邮件可能会诱导天真的智能体收集潜在客户名单或直接外泄敏感数据。
   • 完全依赖静态规则或分类器模型来阻止特定工具或个人身份信息（PII）的外泄存在准确率极限。
   • 在长达整个会话的运行过程中，代码审查等智能体容易受到对抗性提示词注入的影响而做出错误批准。
3. 08:38 - 12:28

   智能体行为范围的收窄与写入权限的严格限制

   智能体本质上是在不同数据源之间传输数据的软件管道，单个智能体读取恶意输入后可能会对其他系统造成破坏。为了保持上下文窗口的纯净，必须限制智能体只能写入特定的小型数据库。

   • 招聘机器人等高权限智能体能够访问申请人追踪系统、会议记录、日历并发送消息。
   • 开发专用模型能够根据历史工具调用记录，主动提出建议并剥离智能体不必要的过高权限。
   • 防止智能体间相互污染的唯一可行方法是极其严格地限制智能体向共享系统写入数据的方式。
4. 12:28 - 16:30

   错误处理引发的Token成本飙升与应对方案

   由于错误会导致程序不断报错并寻找变通方法，输入和输出Token的费用会迅速累积。在企业内部证明模型升级的成本合理性相当困难，因此设定预算、实施速率限制并确保合理的默认设置至关重要。

   • 非软件开发人员凭借感觉编写的MCP服务器在与第三方API交互时会因频繁报错而耗费大量Token。
   • 将底层模型从低成本版本切换到高性能版本曾导致某些团队在一周内成本飙升100多倍。
   • 解决安全与成本问题的唯一方法是拥有合适的监控工具，以便在早期检测并引导用户遵循内部政策。