Anthropic 是如何一天合并 3,0000 次代码变更的 - Manish Kapur (Sonar) & Addy Osmani (Anthropic)

Highlights

• Anthropic 目前每天大约合并 30,000 个代码变更，而在几个月前这一数字仅为 2,500 或 2,500 个左右。

• CircleCI 分析了 2800 万个 CI 工作流，发现吞吐量跃升了大约 59%，但试图将这些代码合并到生产环境中的尝试中，有十分之三都失败了。

• 76% 的生成 AI 代码的开发者表示代码生成速度太快，以至于无法对其进行验证，因而花费越来越多时间审查代码。

• 目前有 5% 的公司在使用软件工厂，而这一比例预计将达到 34%，在金融服务业甚至高达 39%。

• 每家公司都应该采用零信任、多层验证的方法，在 Agent 循环、CI 验证循环或代码维护的每一个循环中对输出进行验证。

Timeline

1. 00:00 - 03:50

   软件工厂的定义与两类运作模式

   主讲人介绍了软件工厂的概念，并区分了“全明灯工厂”与“暗黑软件工厂”两种不同的自动化演进光谱。团队可以根据自身对智能体的信任程度，逐步将自动化推向更深层次。

   • 软件工厂被定义为在规模化中驾驭循环的装配线。
   • 全明灯工厂由智能体协助规划、构建、检查和发布，人类依然在其中运用判断力和审美。
   • 暗黑软件工厂则持续不断地进行范围界定、构建和检查，人类退居幕后思考意图并在例外时处理。
2. 03:50 - 09:20

   代码信心稀缺与验证的核心地位

   随着代码编写问题基本得到解决，代码信心成为了稀缺资源。为了获得高质量的产出并支持每天数万次的合并，团队必须为智能体提供验证工作是否正确的有效方法，例如利用端到端测试、视觉验证以及自动化钩子。

   • 85% 的组织已经在生产环境中使用编码智能体，且该比例将迅速上升至 100%。
   • 智能体能够以极低的成本生成优秀测试、基准测试和规范文档。
   • Anthropic 采用让 Claude 进行第一轮审查的工作流程，并结合端到端任务、浏览器检查和钩子来修正拉取请求。
3. 09:20 - 14:40

   多层验证机制与企业控制导轨

   面对拉取请求越来越大、越来越复杂的现状，监管行业和关键任务应用必须对代码进行严格验证。多层验证能够针对性地捕获漏洞、逻辑意图问题和供应链安全风险，同时必须通过导轨来管理和控制智能体的访问权限。

   • 行业调查显示 84% 的人认为 AI 能更快推送功能，但未经审查直接进入生产环境的代码仅增加了 31%。
   • Sonar 建议采用零信任的多层验证方法，涵盖确定性层、Agent 审查层和软件供应链安全层。
   • 企业需要关注 Agent 的身份、遥测技术、权限以及沙盒控制，设立导轨防止其越界。
4. 14:40 - 18:45

   未来趋势与领导力核心技能

   在问答和总结环节中，主讲人探讨了半自动向全自动过渡的时间表、代码署名与问责制的重要性。最终强调写得快并不等于发布得快，自主权是靠实力赢得的，必须在工厂的每个循环中加入独立的自动化验证机制。

   • 到 2027 年底，大多数团队将使用带有全自动角落的半自动工厂。
   • 对于 AI 生成的代码是否应该在 PR 中进行标注，行业普遍倾向于短期内进行标记以确保可审计性和问责制。
   • 团队领导者应当督促成员深入思考验证的定义，并在各种测试类型中积累实际经验。