Anthropicはどのように1日30,000件のコード変更を統合しているのか - マニッシュ・カプール（Sonar）、アディ・オスマーニ（Anthropic）

Highlights

• CircleCIが2,800万件のCIワークフローを分析した結果、スループットが約59%急増した一方で、本番環境へのマージ試みのうち10件中3件が失敗している。

• 組織の85%がコーディングエージェントを使用しており、AIコードを生成する開発者の76%がコード生成スピードに検証が追いつかないと述べている。

• Anthropicでは、以前の1日2,500件から大幅に規模を拡大し、現在は1日あたり約30,000件のコード変更をマージしている。

• エージェントから最高品質の出力を得るためには、作業が正しいかどうかをエージェント自身が検証する手段を与える必要がある。

Timeline

1. 00:00 - 05:27

   ソフトウェアファクトリーの現状と課題

   コーディングエージェントの普及に伴いコード生成のスピードが劇的に向上しているが、開発者の76%は生成スピードに対して検証が追いついていないと感じている。エンジニアリングリーダーにとって最大の関心事は、エージェントを活用しながらどのように自信を持ってコードをより速く出荷するかという点にある。高品質な出力を得るためには、エージェント自身にテストや仕様の生成を行わせ、正確性を検証する仕組みが不可欠である。

   • 組織の85%がコーディングエージェントを使用しており、AIによるコード生成はすでに解決された問題である。
   • CircleCIのデータによると、CIワークフローのスループットが59%急増する一方で、本番環境へのマージの10件中3件が失敗している。
   • ソフトウェアファクトリーには、人間が判断を行うライトファクトリーと、自律的に稼働するダークファクトリーの2種類が存在する。
2. 05:27 - 11:38

   Anthropicにおける大規模コード変更の検証とワークフロー

   Anthropicのチームでは、コードレビューの最初のパスをClaudeに実行させ、実際のユーザーと同様に体験を試す手段を持たせている。あらゆる変更に対してフックが実行され、差分を分析して迅速にプルリクエストを修正するループが機能している。また、UIの構築時にはブラウザでのテスト動画やスクリーンショットを生成させ、エージェントから可能な限り多くの検証の証拠を得る状態を構築している。

   • Anthropicでは、1日あたりのコード変更マージ数が従来の2,500件から約30,000件へと急拡大している。
   • Claude Codeを用いたレビューでは、ブラウザでのエンドツーエンドのタスク実行やテスト、リントの実行などが行われる。
   • チームのベストプラクティスやセンスを共有ファイル形式知化し、エージェントが参照できるようにすることが重要である。
3. 11:38 - 18:45

   多層的な検証アプローチとガバナンス

   ゼロトラストに基づく多層的な検証アプローチにより、バグやセキュリティ上の問題、意図の不一致を各レイヤーで効率的に検知する。多くの企業ではエージェントが自由に動き回るリスクへの懸念から、ガイドレールを設けてガバナンスを効かせることが求められている。コード生成の主体がエージェントであっても、最終的な所有者と責任は人間に帰属するため、誰が指示を出し変更を行ったかを追跡できる仕組みが必要とされる。

   • 検証は、決定論的なレイヤー、エージェントによるレビュー、ソフトウェアサプライチェーンセキュリティレイヤーの多層構造で構成されるべきである。
   • エージェントのアイデンティティ追跡、権限管理、サンドボックスの維持といったコントロールが重要視されている。
   • 短期的には、エージェントが書いたコードであることをプルリクエストでラベル付けし、監査可能性と説明責任を担保することが推奨される。