매일 고장 나는 AI 에이전트를 우리가 신뢰하는 이유 - 샤이 루파렐, 템포럴

Highlights

• KPMG가 진행한 2025년 에이전틱 AI 설문조사에 따르면, 핀테크 기업의 94%가 AI를 비즈니스 운영의 핵심으로 꼽았으나 62%는 신뢰성 문제로 시간과 수익을 손실하고 있다.

• 템포럴이 AI 에이전트를 사용하는 엔지니어 및 리더 554명을 대상으로 진행한 설문조사 결과, 응답자의 80.8%가 매일 에이전트를 사용하고 있으나 실제 프로덕션 환경에서 실행 중인 비율은 49.1%에 그쳤다.

• 에이전트 출력을 어느 정도 이상 신뢰한다는 응답은 85.5%에 달했지만, 실제로는 응답자의 41.1%가 매일 또는 그 이상 에이전트 문제를 겪고 있으며 16.4%는 매시간 문제를 경험하고 있다.

• 대규모 AI 워크플로를 관측하고 디버깅할 수 있다고 강하게 확신하는 팀은 전체의 13%에 불과하며, 22%의 팀은 시스템 충돌로 인해 작업 진행 상황을 완전히 잃고 있다.

• 직원이 5,000명 이상인 대기업의 경우 AI 에이전트를 프로덕션에 배포하는 데 5개월 가량의 오랜 시간이 소요되는 경향이 있다.

• 서비스 간 상태 추적(35.7%)과 문제 격리 및 디버깅(30.9%)이 AI 에이전트 도입과 팀 생산성을 가로막는 가장 큰 장애물 1위와 2위로 나타났다.

Timeline

1. 00:00 - 03:35

   에이전트 도입의 명암과 네 가지 간극

   KPMG의 2025년 조사에 따르면 기업 생산성 향상 규모가 3조 달러에 달하며 핀테크 기업의 94%가 AI를 도입했으나 62%는 신뢰성 부족으로 수익 손실을 겪고 있다. 템포럴의 개발 동향 설문조사에 참여한 554명의 응답자 중 48.4%는 11년 이상의 경력을 가진 전문가들로 구성되어 있어 현실적인 개발 현황을 대변한다. 이들은 에이전트가 처리하는 업무가 여러 날에 걸치고 실제 자금이 오가는 복잡한 금융 프로세스에서 발생할 수 있는 여러 격차들을 마주하고 있다.

   • 금융 및 핀테크 분야에서 AI 에이전트는 비즈니스 운영의 핵심으로 자리잡았으나 신뢰성 문제로 인한 손실이 발생하고 있다.
   • 에이전트를 적극 활용하는 엔지니어 554명을 대상으로 한 설문조사 응답자의 거의 절반은 업계 경력 11년 이상의 베테랑 전문가들이다.
   • 현업의 데이터에는 사용과 프로덕션, 신뢰와 현실, 프로토타입과 엔터프라이즈 배포, 문제 감지와 복구 사이의 네 가지 간극이 존재한다.
2. 03:35 - 04:34

   사용률과 실제 프로덕션 배포의 괴리

   에이전트 기술에 대한 일상적인 접근성은 크게 증가하여 사용자의 80% 이상이 매일 에이전트를 활용하고 있다. 그러나 이를 실제 상용 서비스나 프로덕션 환경에 안정적으로 안착시킨 비율은 절반 수준에 머무른다. 프로덕션으로 향하는 단계마다 시스템이 예기치 않게 고장 나거나 요구 조건을 충족하지 못하는 현상이 배포를 가로막고 있다.

   • 일상 업무에서 에이전트를 사용하는 사용자의 비율은 80.8%에 이른다.
   • 에이전트를 프로덕션에서 실행하거나 제품 출시의 핵심으로 활용하는 비율은 49.1%에 불과하다.
   • 매일 사용하는 비율과 프로덕션 배포 비율 사이에는 약 30%의 간극이 존재한다.
3. 04:34 - 07:20

   높은 신뢰도와 잦은 시스템 실패의 공존

   사용자들이 에이전트의 결과물을 신뢰하는 경향은 높지만 현실에서는 매일 또는 매시간 시스템 고장이 빈번하게 발생한다. 기술 수준이 높은 팀이라도 에이전트 운영 횟수가 많아지면 문제 빈도가 높게 나타난다. 따라서 프로덕션 환경의 목표는 실패를 완전히 없애는 것이 아니라 실패가 발생하더라도 비즈니스에 손실을 입히지 않도록 방어 체계를 갖추는 것이다.

   • 응답자의 85.5%가 에이전트의 출력 결과를 어느 정도 이상 신뢰한다.
   • 응답자의 41.1%는 매일 또는 그 이상 에이전트 문제를 겪으며 16.4%는 매시간 문제를 마주한다.
   • 성공적인 팀일수록 에이전트를 더 많이 가동하기 때문에 오히려 문제를 더 자주 발견한다.
4. 07:20 - 10:46

   대기업의 배포 속도 차이와 상태 관리 장애

   규제가 엄격한 대기업이나 금융권에서는 승인 절차와 감사 추적 등 신뢰성 요건을 충족하기 위해 프로덕션 배포에 수개월이 걸린다. 또한 복잡한 시스템 환경 속에서 AI 모델 자체보다 서비스 간 상태 관리와 디버깅이 엔지니어들의 생산성을 갉아먹는 주원인으로 작용하고 있다. 시스템이 중단되었을 때 명확한 상태를 추적하지 못하면 새벽에 인력이 수동으로 코드를 고치거나 유튜브를 찾아야 하는 비효율이 발생한다.

   • 스타트업은 몇 시간 만에 프로토타입을 배포하지만 5,000명 이상의 대기업은 몇 달이 소요된다.
   • 서비스 간 상태 추적이 35.7%로 팀 생산성을 제한하는 가장 큰 장애물 1위로 꼽혔다.
   • 시스템 충돌 시 디버깅이나 상태 복구가 어려워 작업 진행 상황을 잃는 문제가 발생한다.
5. 10:46 - 19:15

   내구성 실행을 통한 결제 워크플로 데모

   2,500달러 송금 및 사기 검토 과정을 다루는 9단계 지급 워크플로 데모를 통해 내구성 실행의 작동 방식을 확인할 수 있다. 기존 기술 스택에서는 프로세스가 죽으면 메모리에 있던 데이터가 사라지고 LLM 토큰 비용을 다시 낭비하게 된다. 반면 템포럴의 이벤트 히스토리와 결정론적 워크플로 구조를 활용하면, 워커가 충돌해 멈춘 상태에서도 사람의 승인 시그널과 은행 API 호출 내역이 안전하게 접수되어 처음부터 다시 시작할 필요가 없다.

   • 템포럴은 프로세스가 중단되더라도 코드가 완료될 때까지 상태를 보존하는 내구성 실행을 제공한다.
   • 작업자 프로세스를 고의로 강제 종료해도 기존에 완료된 에이전트 작업과 토큰 사용 기록은 유지된다.
   • 승인 시그널이나 은행 제출 같은 후속 작업은 워커가 재개된 직후 마지막 성공 지점부터 이어서 처리된다.
6. 19:15 - 21:24

   단 하나의 기록으로 해결하는 엔지니어링 과제

   내구성 실행 아키텍처는 설문조사에서 엔지니어들의 발목을 잡는다고 지적된 7가지 장애 요소를 깔끔하게 해소한다. 별도의 복잡한 데이터베이스나 캐시를 구축할 필요 없이 코드 변수만으로 상태가 관리되며, 모델 장애가 발생해도 시스템 전체의 저하로 이어지지 않는다. 이 구조는 현재 오픈아이와 리플릿을 비롯한 실제 프로덕션 환경의 에이전트 시스템에서 검증되었으며 개발 현황 보고서를 통해 상세한 수치를 확인할 수 있다.

   • 상태 관리, 디버깅, 비용, 재시도, 승인, 장기 실행 작업, 크래시 복구 등 7가지 주요 차단 요소를 하나의 워크플로로 해결한다.
   • OpenAI의 코덱스나 Replit의 코딩 에이전트 등 실제 대규모 프로덕션 환경에서 이미 이 기술이 사용되고 있다.
   • 신뢰성과 가시성은 결국 신뢰할 수 있는 단 하나의 이벤트 기록으로 통합된다.