頭脳対手：Viren Baraiyaが語る、本番環境でAIエージェントを安全に稼働させる方法

원제 · Brains vs Hands: How to Run AI Agents Safely in Production — Viren Baraiya

16:503분 읽기AI Engineer2026. 10. 08.컴퓨터/소프트웨어 · AI/미래기술

핵심 요약

AIエージェントの本番稼働では、LLM（脳）に非決定論的な計画立案のみを任せ、事前定義されたツールを動的に組み合わせる決定論的なハーネス（手）が実際の処理と耐久性を担保する構造が不可欠である。

하이라이트

  • LLM（脳）は非決定論的な計画のみを担当し、実行ハーネス（手）が決定論的な作業処理を担う役割分担が必須である

  • エージェントハーネスは事前に定義されたツール群を実行時に動的組み立てを行う「遅延バインドされたSagaパターン」として機能する

  • OpenTelemetry経由のログ監視や事前承認の人間介在（Human-in-the-loop）プロセスを決定論的コードで保護する

  • オープンソースのワークフローオーケストレーションエンジン「Conductor」により計画を実行可能なワークフローへコンパイルする

타임라인

  1. チャットボットを超えた本番環境におけるエージェントの多様性

    単純なツール呼び出しを行うチャットボットの構築から、定時実行ワーカーやシステムアラートを監視するイベント駆動型エージェントへと応用範囲が拡大している。OpenTelemetryログをリアルタイムでリッスンして対応するシステムや、長期間稼働するエージェントを別のエージェントが監視する構造が実用化されている。単一エージェントへ多くの役割を与えず、責務を分離したマルチエージェント設計が安全な運用の鍵となる。

    • 本番環境のエージェントは単なる対話型チャットボットにとどまらない。
    • バックグラウンド処理、イベント駆動型、長時間実行のコーディネーターなど多岐にわたるアーキテクチャが存在する。
    • 単一エージェントへの複数責任の集約はハルシネーションの発生リスクを高める。

  2. マイクロサービス指向のハーネスと決定論的プロセスの分離

    マイクロサービスアーキテクチャと同様に、明確な役割を持つ複数のエージェント群をオーケストレーションする基盤としてハーネスが位置づけられる。LLMがもたらす非決定論的な推論能力に対し、システムデプロイやクラスター管理といった重要な副作用を伴う手順は完全に再現可能な決定論的コードで保護しなければならない。ネットワーク障害やノード停止に耐えうる耐久性は、本番運用システムにおける前提条件となる。

    • エージェントハーネスはビジネス目標を達成する単一責任原則に基づいたアプリケーションとして機能する。
    • 決済やKubernetesクラスターの再起動など、失敗が許されない処理には決定論的な制御が必要である。
    • 障害発生時の復旧機能を備えた長期耐久性がハーネス運用の必須要件となる。

  3. 「脳と手」の分離と遅延バインドされたSagaパターン

    LLMに直接アクションを実行させず、推論エンジンとして実行計画のみを出力させる分離構造を採用する。実際の処理を担うハーネス側でSlackを通じた人間による承認ゲート（Human-in-the-loop）やべき等性の制御を行うことで、誤動作のリスクを未然に防ぐ。従来の事前定義型ワークフロー（Sagaパターン）に対し、実行時にLLMが最適なツール組み合わせを選択してワークフローを生成する柔軟性を実現する。

    • LLM（脳）は次に何が起きるべきかの計画作成に特化し、ハーネス（手）が実行を担保する。
    • 承認プロセスや副作用を伴う処理を決定論的に担保し、ハルシネーションによる誤操作を防ぐ。
    • エージェンティック・ハーネスは有限なツール群を実行時に動的構築する「遅延バインドされたSaga」である。

  4. SREエージェントの実効デモとConductorを活用したシステム構成

    実際のSRE修復ループのデモでは、LLMがログ分析やデータロールバックを含む一連のステップを提案する。その計画がConductor上で稼働する実ワークフローへとコンパイルされ、順次安全に実行される。2回目の実行ループでは1回目のロールバック結果を正しく認識し、重複処理を回避する判断が行われる。LangChainやOpenAI SDKなど既存のフレームワークで構築されたエージェントも統合可能である。

    • SRE障害対応において、LLMが出力した計画を「Plan and Compile」ツールで決定論的ワークフローに変換する。
    • オープンソースの「Conductor」が生成されたワークフローの実行エンジンとして機能する。
    • 複数イテレーションの実行ループにおいて、過去の処理結果や世界の状態を維持して安全に回復処理を完遂する。

설명

Let the model decide what should happen next. Never let it improvise how a production cluster gets restarted. Viren Baraiya, co-founder and CTO of Orkes and the original creator of Netflix Conductor, explains how to run agents in production. Real agents aren't just chatbots: they run on schedules, react to events, coordinate other agents and can run for months, so the harness around them starts to look like an application, much like a set of microservices. His key idea is a clean split between the brain and the hands. The LLM plans what should happen next; a deterministic, durable harness does the actual work, with approval gates, idempotent steps and recorded side effects. He frames agent harnesses as late-bound sagas, workflows the agent assembles at runtime, and demos an SRE agent whose plan is compiled into a Conductor workflow, executed, checked and re-planned over two loops. In this talk: • Background, scheduled, event-driven and long-running agents • Why the harness is the application, mixing deterministic and non-deterministic parts • The brain and the hands: the LLM plans, the harness executes • Demo: an SRE agent's plan compiled into a durable workflow SPEAKER Viren Baraiya, Co-founder & CTO, Orkes X: https://x.com/virenbaraiya LINKS Orkes: https://orkes.io Orkes on X: https://x.com/orkesio CHAPTERS 0:00 Intro 0:47 Who runs agents in production? 1:12 Beyond the hello-world agent 1:52 Background, scheduled and event-driven agents 2:27 Coordinators and multi-agent systems 3:02 Agents are applications, not components 3:12 Lessons from microservices 4:22 The harness is the application 5:02 Deterministic and non-deterministic parts 6:02 Harnesses run for seconds or months 6:41 Durability is table stakes 7:26 How the loop works 8:21 The agent plans, the harness executes 9:21 Human approval gates 9:41 Idempotency and side effects 9:56 The brain and the hands 10:21 Agent harnesses as late-bound sagas 11:21 Every possible branch 11:51 Demo: an SRE agent 13:31 Compiling the plan into a workflow 14:16 Demo: the second loop 15:56 Conductor, open source Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI. AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/ #AIAgents #WorkflowOrchestration #AIEngineer

이 영상에 대해 글쓰기