에이전트는 2015년의 마이크로서비스 위치에 있습니다 — 로베르토 밀레프 & 우다이 카나가라, Navan
원제 · Agents Are Where Microservices Were in 2015 — Roberto Milev & Uday Kanagala, Navan
핵심 요약
에이전트는 2015년의 마이크로서비스와 유사한 초기 성숙 단계에 있으며, 런타임, 메모리, 관측 가능성, 가드레일을 아우르는 참조 아키텍처 구축이 프로덕션 성공의 핵심이다.
하이라이트
나반(Navan)은 단일 에이전트 루프조차 제대로 구축하지 못하면서 멀티 에이전트 오케스트레이션 시스템으로 바로 넘어가는 것은 위험하다고 지적한다.
에이전트 런타임은 세션 지속성과 재수화를 위해 AWS 에이전트 코어와 자체 구축한 구조를 활용한다.
에이전트 컨텍스트 관리를 위해 특정 도메인이나 작업에 대한 지침을 담은 스킬 단위를 점진적 공개(progressive disclosure) 방식으로 동적으로 구성한다.
에이전트 디버깅과 관측 가능성을 위해 훅(hooks)을 활용하여 도구 호출 전후로 OpenTelemetry(otel) 트레이스를 내보낸다.
에이전트 테스트 파이프라인은 비결정론적 특성을 극복하기 위해 시작점에서 목표까지의 궤적(trajectory)을 평가하는 방식을 사용한다.
엔터프라이즈 환경에서는 사용자를 대신해 행동하는 에이전트의 특성을 고려해 모든 도구 호출 전후에 가드레일과 세밀한 권한 부여 계층을 둔다.
타임라인
에이전트 아키텍처의 현황과 런타임 계층
과거 마이크로서비스 도입 과정에서 겪었던 시행착오가 현재 에이전트 도입 시기와 유사하게 반복되고 있다. 클라우드 제공업체들이 에이전틱 런타임을 제공하고 있으며, 나반은 AWS를 기반으로 에이전트 코어 런타임을 사용하면서 세션 지속성과 재수화 공백을 직접 구축하여 메우고 있다.
- 나반은 여행 및 경비 관리 회사로서 프로덕션 환경에서 수많은 에이전트를 운영하며 얻은 배움을 공유한다.
- 단일 에이전트 루프조차 제대로 구축할 수 없다면 멀티 에이전트 시스템을 구축해서는 안 된다.
- 에이전트는 전통적인 API 서비스와 달리 본질적으로 상태 유지(stateful) 특성과 지속적인 세션, 격리를 필요로 한다.
메모리 및 컨텍스트 관리 전략
컨텍스트 윈도우가 커지고 있지만 정보가 너무 많으면 에이전트가 초점을 잃는다. 따라서 도메인 특화 스킬을 독립적으로 테스트하고 재사용 가능한 작업 단위로 구성하며, 스킬 자체의 점진적 공개 기능을 통해 효율적인 컨텍스트 관리를 달성한다.
- RAG는 에이전트의 무제한 컨텍스트 한계를 극복하기 위해 활용되며 자동화된 파이프라인으로 생성된다.
- 메모리는 단기 대화형 메모리부터 장기 기억 및 에피소드 기억까지 시간에 따라 구축된다.
- 에이전트 컨텍스트는 제한된 범위에서 시작해 메타데이터를 통해 확장하는 점진적 공개 방식을 따른다.
관측 가능성과 비결정론적 테스트
멀티 스텝 프로세스 중간에 실패했을 때 원인을 빠르게 파악하기 위해 브레인러스트 같은 제공업체를 통해 otel 트레이스를 캡처한다. 에이전트의 비결정론적 특성으로 인해 발생하는 회귀와 테스트의 어려움은 궤적 평가와 추론된 답변에 대한 신뢰도 점수를 통해 보완한다.
- 에이전트가 출력하는 방대한 사고 과정은 전통적인 로그 방식으로는 소비하기 어렵다.
- 클로드 등의 훅(hooks)을 활용해 도구 호출 전후로 OpenTelemetry 트레이스를 내보내어 중단 지점을 파악한다.
- 비결정론적인 에이전트 테스트는 시작점에서 목표까지의 궤적(trajectory) 평가를 통해 완성도를 산출한다.
가드레일, 권한 부여 및 에이전트 간 통신
엔터프라이즈 환경에서는 거버넌스 계층이 결정적인 역할을 한다. 단일 에이전트가 점진적으로 스킬을 로드하는 구조를 취하면서도, 조직 내 부서 간 에이전트 통신을 위해 A2A 프로토콜 같은 표준이 발전하고 있다. 런타임과 메모리는 성숙해진 반면 관측 가능성과 디버깅은 여전히 과제로 남아 있다.
- 에이전트는 사용자를 대신해 행동하므로 전통적인 사용자 및 서비스 계정 경계가 모호해진다.
- 나반은 모든 도구 호출 전후에 가드레일을 두어 민감한 정보 유출을 막고 세밀한 권한 부여 결정을 내린다.
- 마스터 에이전트 아래 하위 기술을 로드하는 패턴과 팀 간 경계를 위한 A2A 프로토콜이 부상하고 있다.
설명
Tell a travel agent to book a flight whenever the fare drops below 200 dollars and something awkward follows. When it fires two weeks later, who made that purchase? Roberto Milev and Uday Kanagala keep returning to that blurring, because Navan sells travel and expense management and the answer decides what authorization even means. An agent may act on behalf of a user or under its own service account, and the old model of a user or a service principal does not survive contact with either. Their guardrails run before and after every tool call rather than at the edge. The framing is that agents are where microservices sat in 2015, when the sensible advice was that if you can build a well structured monolith you probably should not reach for microservices. The same holds here for reaching past a single agentic loop. Navan runs one master agent that progressively loads skills, treating a skill as the unit of context, pluggable and testable on its own. Logs stop working when an agent emits this much thinking, so hooks intercept each tool call and emit the goal, the reasoning and a confidence score, which lets an inferred answer be routed to a human. Testing a nondeterministic system means scoring trajectories rather than asserting outputs. Cost remains genuinely unsolved. Speaker info: Roberto Milev: - https://www.linkedin.com/in/robertomilev/ Uday Kanagala: - https://www.linkedin.com/in/udaybhanuprasad Timestamps: 0:00 - The microservices bandwagon, and what it taught 1:25 - A reference architecture starting to crystallize 2:34 - Runtime, and agents being stateful by nature 3:42 - Memory, from RAG to episodic 6:04 - Skills as the unit of context 7:16 - Why logs stop working for agents 8:24 - Hooks, traces, and confidence scores 9:32 - Testing something nondeterministic 10:44 - Scoring trajectories instead of outputs 13:04 - Who actually bought the flight 14:15 - One master agent, or many 15:29 - What is solved, and what is not 17:48 - Cost, replay, and emerging standards