두뇌 대 손: 프로덕션 환경에서 AI 에이전트를 안전하게 실행하는 방법 — 비렌 바라이야

Original · Brains vs Hands: How to Run AI Agents Safely in Production — Viren Baraiya

16:503 min readAI Engineer10/08/2026Computing/Software · Internet Technology

Key Takeaway

프로덕션 AI 에이전트 시스템은 LLM에 직접 실행을 맡기지 않고, LLM이 계획을 세우면 결정론적 하네스가 실제 실행 및 부수 효과를 안전하게 제어하는 구조로 설계해야 한다.

Highlights

  • LLM은 다음에 수행할 작업을 계획하는 뇌 역할을 하고, 하네스는 실행을 담당하는 손 역할을 한다.

  • 프로덕션 환경의 에이전트 하네스는 단순한 챗봇이 아니라 백그라운드 워커, 스케줄링 실행, 이벤트 기반 감지, 장기 실행 모니터링을 수행하는 애플리케이션이다.

  • 에이전트 하네스는 LLM의 추론 영역인 비결정적 요소와 제어 및 실행 영역인 결정적 요소가 결합된 형태다.

  • 에이전틱 하네스는 유한한 도구 세트를 런타임에 제안받아 조합하여 실행하는 늦은 바인딩 사가(late-bound saga) 구조다.

  • Conductor 플랫폼에서 에이전트가 생성한 계획은 실행 가능한 확정적 워크플로로 컴파일되어 멀티 스텝 조치 루프를 수행한다.

Timeline

  1. 프로덕션 환경에서의 에이전트 및 하네스 개념의 확장

    프로덕션 환경의 에이전트는 기존의 단순 지원 챗봇 범주를 벗어난다. 매시간 일정을 확인하는 백그라운드 워커, OpenTelemetry 로그 이벤트를 수신하는 감지 시스템, 다른 에이전트를 모니터링하는 장기 실행 코디네이터 등이 대표적이다. 단일 에이전트에게 너무 많은 역할을 부여하면 환각 위험이 커지므로, 마이크로서비스 아키텍처처럼 단일 책임 원칙에 따라 에이전트와 도구를 오케스트레이션하는 하네스 애플리케이션 구조가 필수적이다.

    • 에이전트는 단순한 도구 호출 챗봇을 넘어 전체 애플리케이션의 형태로 확장된다.
    • 백그라운드 워커, 스케줄러, 이벤트 기반 감지, 멀티 에이전트 조율 등 다양한 형태의 프로덕션 에이전트가 존재한다.
    • 단일 책임 원칙을 따르는 마이크로서비스처럼 하네스는 비즈니스 목표 달성을 위해 에이전트와 내부 시스템, 인간 개입을 통합한다.

  2. 에이전트 하네스의 결정론적 특성과 내구성

    에이전트 하네스는 사고 과정에서 LLM을 활용해 비결정성을 수용하지만, 실행 단계에서는 엄격한 결정론을 유지해야 한다. 예컨대 클러스터 재시작 과정은 예외 없이 동일한 단계와 검증을 거쳐야 한다. 인프라 장해나 파티셔닝 발생 시 시스템 복구가 가능하도록 상태 영속성(durability)을 확보하는 것은 프로덕션 운영의 기본 전제 조건이다.

    • 하네스는 LLM의 비결정적 추론과 코드의 결정론적 실행을 통합한다.
    • 쿠버네티스 클러스터 재시작이나 결제 등 핵심 인프라 작업은 일관된 결정론적 워크플로로 처리해야 한다.
    • 네트워크 장애나 클라우드 다운에 대비해 장기 실행 하네스에는 영속성과 내구성이 기본 요구사항으로 적용된다.

  3. 뇌와 손의 분리: 계획 수립과 실행의 역할 정의

    에이전트 시스템에서 LLM은 뇌 역할을 담당해 현재 상태와 목표를 분석하고 계획을 작성하며, 하네스는 손 역할을 맡아 결정론적 코드로 해당 계획을 실행한다. 슬랙을 통한 승인 요청이나 시스템 변경 등의 부수 효과는 환각 위험이 있는 LLM 대신 하네스가 멱등하게 통제한다. 사전 정의된 분기 워크플로와 달리, n개의 도구를 런타임에 조합하는 늦은 바인딩 사가 구조를 통해 복잡한 상황 대응이 가능해진다.

    • 비정형 LLM 에이전트는 다음 행동의 계획만 세우고 직접 실행하지 않는다.
    • 하네스는 에이전트의 계획을 받아 실행, 인간 승인 절차, 멱등성 및 부수 효과 관리를 직접 수행한다.
    • 에이전틱 하네스는 유한한 도구 조합을 런타임에 결합하는 늦은 바인딩 사가(late-bound saga) 방식으로 작동한다.

  4. SRE 에이전트 실행 데모 및 Conductor 오케스트레이션

    실제 SRE 에이전트 시연에서는 문제 발생 시 LLM이 증거 수집, 로그 분석, 롤백, 복구 검증 등 여러 단계를 한 번에 제안한다. 이 계획은 '계획 및 컴파일' 도구를 거쳐 Conductor 엔진에서 즉시 실행 가능한 워크플로로 변환되어 수행된다. 첫 번째 루프에서 롤백이 완료되면 다음 반복 루프에서는 이미 완료된 작업임을 인지하고 중복 조치를 건너뛰는 방식으로 안정적인 자동화를 달성한다.

    • SRE 에이전트는 현 상태 파악, multi-step 계획 수립, 워크플로 컴파일, 실행 및 검증의 반복 루프를 실행한다.
    • 에이전트가 제시한 일련의 단계는 '계획 및 컴파일' 도구를 거쳐 Conductor 워크플로로 변환된다.
    • 이전 루프에서 수행된 롤백 등 결과 상태를 인지하여 다음 반복 시 중복 조치를 방지한다.

Description

Let the model decide what should happen next. Never let it improvise how a production cluster gets restarted. Viren Baraiya, co-founder and CTO of Orkes and the original creator of Netflix Conductor, explains how to run agents in production. Real agents aren't just chatbots: they run on schedules, react to events, coordinate other agents and can run for months, so the harness around them starts to look like an application, much like a set of microservices. His key idea is a clean split between the brain and the hands. The LLM plans what should happen next; a deterministic, durable harness does the actual work, with approval gates, idempotent steps and recorded side effects. He frames agent harnesses as late-bound sagas, workflows the agent assembles at runtime, and demos an SRE agent whose plan is compiled into a Conductor workflow, executed, checked and re-planned over two loops. In this talk: • Background, scheduled, event-driven and long-running agents • Why the harness is the application, mixing deterministic and non-deterministic parts • The brain and the hands: the LLM plans, the harness executes • Demo: an SRE agent's plan compiled into a durable workflow SPEAKER Viren Baraiya, Co-founder & CTO, Orkes X: https://x.com/virenbaraiya LINKS Orkes: https://orkes.io Orkes on X: https://x.com/orkesio CHAPTERS 0:00 Intro 0:47 Who runs agents in production? 1:12 Beyond the hello-world agent 1:52 Background, scheduled and event-driven agents 2:27 Coordinators and multi-agent systems 3:02 Agents are applications, not components 3:12 Lessons from microservices 4:22 The harness is the application 5:02 Deterministic and non-deterministic parts 6:02 Harnesses run for seconds or months 6:41 Durability is table stakes 7:26 How the loop works 8:21 The agent plans, the harness executes 9:21 Human approval gates 9:41 Idempotency and side effects 9:56 The brain and the hands 10:21 Agent harnesses as late-bound sagas 11:21 Every possible branch 11:51 Demo: an SRE agent 13:31 Compiling the plan into a workflow 14:16 Demo: the second loop 15:56 Conductor, open source Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI. AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/ #AIAgents #WorkflowOrchestration #AIEngineer

Write about this video