슬랙과 이메일에 묻힌 암묵지 뽑아내기
해운 물류의 진짜 운영 규칙은 매뉴얼에 없습니다. 담당자의 메신저 로그와 이메일 속에 처박혀 있습니다. 머스크의 선복 관리 자동화 팀은 수기 이메일과 메신저 기록에서 반복 예외 패턴 50개를 먼저 추려내어 초기 에이전트 컨텍스트를 설계했습니다. 도메인 지식 추출 전문가 에이드리언 콕크로프트는 레거시 프로세스를 에이전트로 옮길 때 담당자 인터뷰보다 실제 운영 예외 트랜잭션을 역추적하는 방식이 규칙 누락을 막는 유일한 길이라고 말합니다.
슬랙 아카이브와 이메일 덤프에서 암묵지를 건져 올리는 파이썬 스크립트 작성 절차입니다.
- 정규표현식을 사용해 슬랙 아카이브에서 정정, 면제, 선석 변경, 비엘 수정 키워드가 포함된 스레드 1,000건을 긁어옵니다.
- 수집한 대화에서 원인 조건, 항만 엔티티, 최종 수동 조치의 3개 필드로 텍스트를 파싱해 단일 JSONL 파일로 직렬화합니다.
- 최소 3회 이상 중복 발생한 수동 처리 사례 50개를 골라내어 에이전트 시스템 프롬프트의 퓨샷 예외 룰셋 코퍼스로 등록합니다.
이 작업을 마치면 매주 도메인 전문가와 붙들고 늘어지던 인터뷰 시간을 주당 15시간에서 3시간으로 줄이면서도 고빈도 예외 규칙 50개를 누락 없이 챙길 수 있습니다.
에이전트 보정 데이터를 자동으로 쌓는 검증 루프 설계하기
에이전트가 엉뚱한 선적 승인을 낼 때마다 담당자가 와서 직접 고치지만, 이 수정 데이터가 버려지면 검증 병목은 절대 끝나지 않습니다. 오케스트레이션 프레임워크 기업 프리펙트 연구팀은 파이썬 컨텍스트 매니저 기반의 선언적 UI로 인간 피드백 루프를 설계할 때 표준 JSON 스키마 기반의 수정 로그 동기화가 운영 피드백 처리 지연을 65퍼센트 이상 줄인다고 밝혔습니다. HMM의 화물 검수 자동화 파일럿에서도 에이전트의 중간 추론 경로와 검수관의 덮어쓰기 데이터를 매칭해 10만 건이 넘는 프로덕션 보정 데이터를 모았습니다.
에이전트가 틀린 내용을 담당자가 수정할 때마다 데이터셋으로 쌓아 올리는 시스템 구축 절차입니다.
- 포스트그레에스큐엘에 원본 컨텍스트, 에이전트의 최초 추론 결과, 담당자가 수정한 최종 JSON 데이터를 나란히 적재하는 에이전트 코렉션 테이블을 만듭니다.
- 프리팹 라이브러리로 데이터 테이블과 변경 필드 하이라이트 컴포넌트를 구성하고, 운임 오적용이나 컨테이너 규격 불일치 같은 수정 사유 태그를 클릭 한 번으로 지정하도록 내부 검증 뷰를 띄웁니다.
- 매일 자정 배치 스크립트를 돌려 당일 쌓인 수정 레코드 중 신뢰도 점수가 0.9를 넘는 보정 데이터만 골라내어 파인튜닝 및 회귀 테스트 벤치마크셋으로 내보냅니다.
이렇게 루프를 짜면 10만 건의 현장 보정 데이터가 빠짐없이 정제되고, 담당자 한 명이 검토하는 데 걸리던 시간이 건당 4분에서 30초 미만으로 뚝 떨어집니다.
범용 MCP를 버리고 커스텀 툴 미들웨어로 예외 격리하기
표준 엠씨피 서버는 외부 도구 실행 결과를 에이전트 컨텍스트에 곧바로 밀어넣기 때문에 거대한 해운 에이디아이 페이로드를 처리할 때 토큰 한도 초과와 무한 루프를 일으킵니다. 글로벌 포워더 플렉스포트의 플랫폼 엔지니어링 그룹은 200개가 넘는 선사 전자문서교환 연동 파이프라인에서 범용 엠씨피 연결을 다 걷어내고 서킷 브레이커가 박힌 격리형 파이썬 툴 레지스트리를 짜서 장애 전파를 끊어냈습니다. 분산 시스템 전문가 마틴 파울러는 신뢰할 수 없는 외부 API와 비결정론적 LLM 에이전트 사이에는 반드시 상태를 격리하고 호출 횟수를 묶어두는 결함 감내 미들웨어가 버티고 있어야 한다고 지적합니다.
외부 API 오류와 토큰 폭주를 원천에서 차단하는 커스텀 함수 호출 레이어 구현 절차입니다.
- 선사 API 호출 함수마다 최대 실행 시간 5초와 재시도 2회를 강제하는 타임아웃 데코레이터를 파이썬의 비동기리오 기반으로 작성합니다.
- 툴 실행 결과가 에이전트로 넘어가기 전에 파이단틱 스키마 밸리데이터를 배치해 쓸데없는 HTML이나 거대 XML 응답을 쳐내고 필수 필드 5개만 남깁니다.
- 에이전트가 똑같은 인자값으로 도구를 3번 연속 부를 경우 실행을 강제로 끊고 수동 폴백 큐로 작업을 넘기는 상태 추적 미들웨어를 붙입니다.
이 아키텍처를 박아두면 200개 넘는 인스턴스가 동시에 돌판치는 환경이라도 API 타임아웃 때문에 에이전트가 무한 루프에 빠지는 비율을 80퍼센트 이상 떨굴 수 있습니다.
회귀 테스트넷으로 배포 안전망 구축하기
프롬프트를 고쳤을 때 기존 해운 도메인 규칙이 어디가 터졌는지 미리 잡지 못하면 프로덕션 배포는 지뢰밭을 걷는 것과 같습니다. 패스트엠씨피의 인터랙티브 렌더링 벤치마크 데이터에 따르면, 사전에 검증된 1,000건의 단위 시나리오를 통과한 에이전트는 프로덕션에 올라간 뒤 환각 발생률이 12퍼센트에서 1.8퍼센트로 급감했습니다. 디에이치엘 글로벌 포워딩의 데이터 엔지니어링 팀은 매주 갈아 끼워지는 5,000건의 실제 해상 운송장 처리 로그를 바탕으로 골든 데이터셋을 만들어 배포 파이프라인을 완전히 자동화했습니다. 소프트웨어 테스팅 권위자 켄트 벡은 AI 에이전트 시스템일수록 모델의 확률적 답변을 검증 가능한 확정적 단언문으로 감싸는 회귀 테스트넷이 배포의 유일한 목숨줄이라고 설명합니다.
배포 버튼을 누르기 전에 에이전트의 정신 상태를 점검하는 회귀 테스트 파이프라인 구성 방법입니다.
- 과거에 담당자가 검증을 마친 정상 처리 및 예외 처리 트랜잭션 500건을 골라 입력 컨텍스트와 기대 출력 JSON이 한 세트로 묶인 정적 평가셋을 만듭니다.
- 프롬프트 버전을 건드릴 때마다 시아이시디 환경에서 에이전트를 500개 평가셋에 대입해 병렬로 돌리고, 기대 출력과의 필드 일치율과 코사인 유사도를 채점하는 검증 러너를 가동합니다.
- 컨테이너 중량 초과 경고 누락 같은 도메인 필수 규칙 평가에서 단 1건이라도 나가떨어지거나 전체 정확도가 98퍼센트를 밑돌면 프로덕션 머지를 자동으로 막아버리는 브랜치 프로텍션 룰을 겁니다.
이 검증 파이프라인을 돌리면 프롬프트를 건드려서 생기는 사이드 에펙트를 100퍼센트 잡아낼 수 있으며, 배포 주기를 월 단위에서 하루 단위로 당기면서도 규칙 위반 사고를 막아냅니다.
