为什么我们依然用管理软件的方式来管理人工智能代理？- Tim Tyler, Gravitee

하이라이트

• 企业应当把人工智能智能体视为全新的数字劳动力，而不是当作传统的软件应用来管理。

• 每一个数字智能体都需要在已知的共享注册表中拥有一个唯一的身份ID作为管理基础。

• 每个智能体都必须指派一名具名的人类责任方作为赞助人，负责承担其成本、开支和一切潜在问题的问责。

• 智能体的授权范围必须始终遵循最低权限原则，并且不能超越人类赞助人自身的权限范围。

• 智能体的行为表现和最终成功之间存在区别，权限决定表现，而角色定义成功。

타임라인

1. 00:00 - 02:22

   将人工智能视为数字劳动力

   演讲者通过一个极端的招聘职位描述开场，指出没有人会用这种无规则的方式去雇佣人类，但企业却常常这样部署人工智能。随着竞争对手纷纷采用AI智能体，管理者必须转变观念，将它们看作数字劳动力，从而引入一套全新的管理和问责框架。

   • 企业在过去一个世纪里积累了管理人类劳动力的成熟经验。
   • 如果依然像对待传统软件应用那样管理人工智能，就会忽视其作为数字劳动力的本质。
   • 智能体问责制框架涵盖了从指派到实际审计的具体控制措施。
2. 02:22 - 07:15

   指派阶段：身份与责任人

   指派阶段确立了智能体在组织中的存在感。智能体必须拥有唯一的ID，类似于员工的工牌。同时，每个智能体都需要有专属的赞助人（例如斯文），由其定义智能体的目的并掌控其开支。这种关系类似于监护儿童时必须有明确的专人负责交接。

   • 智能体入职的第一步是进入注册表并被赋予一个唯一的身份ID。
   • 智能体是团队的一部分，需要获取团队的目标和历史背景，而不是人类的数字克隆体。
   • 每个智能体都必须设立一个具名的人形责任方即赞助人，由其承担成本开支与最终责任。
3. 07:15 - 11:18

   对齐阶段：权限与范围设定

   在明确了身份和负责人之后，必须通过权限和范围来规范智能体能做什么。赞助人掌握着权限的钥匙。不同智能体之间通过委派任务时，其授权范围受到严格的血缘关系制约，绝不会超出赋予底层智能体的权限边界。

   • 赞助人负责决定智能体能够访问哪些数据和工具并打开相应的权限。
   • 智能体的权限范围始终遵循最低权限原则，并且不能超过其父级或人类赞助人的权限。
   • 大语言模型自带的对齐方式不受控制，因此组织必须建立确定性的规则来约束智能体。
4. 11:18 - 18:04

   管理阶段：监督、追索与教练角色

   管理阶段确保智能体不偏离轨道。行为表现取决于权限，而成功取决于角色。通过引入微观管理者和守护智能体，组织可以在机器速度下实时监控意图和规则。如果出现偏差，系统会采取限制、暂停或升级等追索机制，而人类则像教练一样不断调优整个系统。

   • 管理阶段通过守护智能体和AI网关在机器速度下对结果进行持续追踪和记分卡评估。
   • 当智能体置信度较高时进行自动修订，置信度低时上报人类或直接拦截。
   • 人类赞助人扮演教练的角色，通过调整角色定义和权限来持续优化智能体的表现与成功。