AIエージェントが自律的に作業できるタイミングを知る方法 — エヴァン・コルモス（Coinbase）

하이라이트

• エージェントは人と協働し、プロセスの一部を自ら実行し、テクノロジーを利用して構成される運用モデルである。

• 有向非巡回グラフ（DAG）を用いることで、ループバックせずに前進する商業融資やソフトウェア配信などのポリシー主導型プロセスを定義および管理できる。

• AI開発における出力の信頼性はチェックの信頼性に依存し、何が「良い状態」であるかを定義した上で評価（evals）とトレースを組み合わせて検証する必要がある。

• 初日は人間による監督のもとで開始し、測定された信頼度が方針の閾値に達するとサンプリングや例外処理を中心とした運用へと移行する。

• エージェントをプロセスに組み込む秘訣は、外側をデテミニスティック（決定的）に保ち、内側を適応型にすることである。

타임라인

1. 00:00 - 03:12

   ポリシーとプロセスの基礎

   ソフトウェア設計と開発に20年間携わってきた経験に基づき、組織の意図やシステムプロンプトに相当するポリシーの重要性が解説されている。ポリシーはシステムの稼働ルールを定義し、絶えず変化するシステムから分離される。また、エージェントを単なるテクノロジーではなく、人とプロセスとテクノロジーを横断する存在として捉える視点が示されている。

   • ポリシーは組織内での業務遂行方法のルールを定め、リスク管理やコンプライアンスにおいて重要となる。
   • システムは常に変化し続けるため、ビルド状態と実行状態を分離して管理する。
   • エージェントは人とプロセス、テクノロジーのすべてを横断する運用モデルとして機能する。
2. 03:12 - 09:01

   ワークフローとグラフ構造の活用

   作業の方向性を制御するためにワークフローを図式化する理由として、並行実行や独立したレビューの統合が挙げられている。Apache Airflowなどのツールを用いたDAG表現や、LangChainやLangGraphによるDCGの状態管理が紹介されている。さらに、プロセスの高速化に伴って新たなボトルネックが発生するため、運用上の可視化が不可欠であると説明されている。

   • DAGを用いることでループバックせずに前進するワークフローや依存関係を表現できる。
   • コードレビューなどの内部プロセスでは、基準に達するまで修正を行う有向巡回グラフ（DCG）のループ処理が起きる。
   • エージェントの導入によって処理量が変動するため、プロセス全体の運用上の可視化がオーサリングよりも重要になる。
3. 09:01 - 13:12

   出力の品質向上と信頼メカニズム

   高品質な入力が計算コストを抑えた優れた出力をもたらすという前提のもと、エージェントが全体像の中で自身の位置を把握する重要性が説かれている。従来のソフトウェア開発における単体テストのような信頼メカニズムとは異なり、確率論的なエージェントに対しては統計的な分析や評価、トレースを用いた多角的な検証が不可欠であると述べられている。

   • AIエンジニアリングの課題である入力と出力の変動性に対処するため、DAGの状態をエージェントに注入してコンテキストを認識させる。
   • ループの信頼性はチェックの信頼性に依存し、何が「良い状態」であるかを定義する必要がある。
   • 確率論的なエージェントの出力を検証するため、代表的なデータセットによる評価とランタイムログであるトレースを組み合わせる。
4. 13:12 - 17:23

   エージェントの配置と段階的な導入

   融資プロセスなどを例に挙げ、どの時点でAIが引き継ぐべきかを判断するための具体的な質問項目が提示されている。ヒルクライムと呼ばれる段階的な有効化プロセスを通じて、ドメイン専門家と共に定義した品質基準を満たしながら自動化の範囲を広げていく手法が示されている。最終的に、エージェントがオペレーティングモデル全体を加速させる原動力になることが強調されている。

   • DAG内の各ノードに対してエージェント駆動の価値や方針のチェック可否を問い、自動化に適した箇所を選定する。
   • 導入初期は人間がすべての出力を検証し、信頼度が閾値に達した後はサンプリングや例外処理を中心とした対応へ移行する。
   • プロセス全体の秘訣は外側をデテミニスティックに保ち内側を適応型にすることであり、品質はチームスポーツとして構築される。