ShipSF 워크샵 - 바닥부터 시작하기

하이라이트

• 버셀의 사내 슈퍼 에이전트 플랫폼 V는 슬랙과 웹 앱을 통해 영업, 지원, 재무, 인프라 등 모든 부서 임직원의 일상 업무를 지원한다.

• 데이터 팀 에이전트 D0는 온전한 8주 동안 Next NPM 패키지 다운로드 건수가 4억 5천만 건에 달한다는 분석 결과를 제공한다.

• V는 Claude Opus 5.5 패스트 모델에서 실행되며 AI Gateway를 통해 단 한 줄의 설정 변경으로 모델을 전환할 수 있다.

• 사용자가 답변에 '싫어요' 피드백을 남기면 LLM 판사가 컨텍스트를 검토하여 자동으로 평가 케이스 초안을 작성한다.

타임라인

1. 00:00 - 04:19

   사내 슈퍼 에이전트 V와 Eve 프레임워크의 도입 배경

   버셀의 소프트웨어 엔지니어 바네사는 사내 슈퍼 에이전트 V의 구축 배경과 활용 양상을 소개한다. 사내 각 부서는 청구 시스템, 문서화, 프로덕션 문제 조사 등 고유한 전문 지식을 보유하고 있다. Eve 프레임워크는 이러한 지식을 사용자가 접근할 수 있는 에이전트로 전환하는 기반을 제공한다. 또한 웹 앱과 슬랙을 통해 커스텀 스킬과 워크플로를 관리하고 공유하는 마켓플레이스 역할을 수행한다.

   • V는 영업, 지원, 재무, 인프라 등 버셀의 모든 부서에서 일상의 일부로 사용되는 사내 슈퍼 에이전트 플랫폼이다.
   • 예약된 워크플로를 통해 요약, 보고서, 할 일 등이 사용자가 접속하기 전에 미리 처리된다.
   • 각 팀이 가진 도메인 전문 지식을 쉽게 에이전트로 전환할 수 있도록 Eve 프레임워크가 기저에서 지원한다.
2. 04:19 - 09:22

   데이터 팀 에이전트 D0와 원격 에이전트 설계

   데이터 팀이 구축한 D0는 사용자가 자연어로 던진 비즈니스 질문에 대해 데이터 분석 결과와 해석을 반환한다. 예를 들어 지난 8주간 Next NPM 패키지의 주별 설치 건수가 4억 5천만 건이라는 구체적인 수치와 급증 원인에 대한 해석을 제공한다. 원격 에이전트 아키텍처를 적용함으로써 각 팀은 중앙 집중식 프롬프트의 부담 없이 자신들의 도메인 지식과 권한을 독립적으로 관리하고 배포할 수 있다. V는 명확한 라우팅 설명을 기반으로 적절한 전문가 에이전트에게 요청을 전달한다.

   • 데이터 팀 에이전트 D0는 자연어 질문을 받아 데이터 세트 분석 결과와 해석을 제공한다.
   • 원격 에이전트 프로토콜을 통해 각 팀은 독자적인 서비스로 전문가 에이전트를 운영하고 소유권을 가질 수 있다.
   • V는 단일 라우팅 파일을 통해 여러 원격 에이전트 중 적합한 전문가를 호출하여 요청을 처리한다.
3. 09:22 - 16:00

   Eve 프레임워크 기반의 다중 에이전트 협업과 노션 리포트 생성

   Eve는 에이전트 간의 연결과 지속적인 실행을 지원하는 완전한 프레임워크로 작동한다. V는 복잡한 사용자 요청을 처리하기 위해 여러 도구와 에이전트를 순차적으로 조율한다. 예를 들어 Next.js 다운로드 분석 리포트를 생성하는 과정에서 D0를 호출해 데이터를 얻고, V0를 통해 대화형 시각화 차트를 구축하며, 노션 도구로 최종 문서를 저장한다. 현재 V는 Claude Opus 5.5 패스트 모델에서 실행되고 있으며, AI Gateway 덕분에 유연한 모델 테스트가 가능하다.

   • Eve 프레임워크는 세션, 작업, 연결, 신원 및 권한 관리를 위한 기본 요소를 제공한다.
   • V는 D0에게 분석을 위임하고, V0로 시각화 차트를 생성한 뒤, 노션에 리포트를 저장하는 순차적 워크플로를 조율한다.
   • AI Gateway를 활용하면 단 한 줄의 설정 변경으로 실행 모델을 교체할 수 있다.
4. 16:00 - 24:00

   아키텍처 진화, 핸드오프 오류 방지 및 자동화된 평가

   에이전트 간 작업 인계 과정에서 데이터의 단위나 제약 조건이 누락되면 각 단계가 성공하더라도 사용자에게 잘못된 정보가 전달될 수 있다. 따라서 시스템은 개별 기능 테스트와 전체 워크플로 테스트를 모두 거쳐 결과의 정확성을 검증한다. 또한 사용자로부터 접수된 피드백은 LLM 판사를 통해 분석되어 새로운 평가 케이스의 초안으로 자동 변환된다. 이를 통해 프로덕션에서 발생한 문제와 개선 사항을 테스트 슈트에 신속하게 반영할 수 있다.

   • 다단계 워크플로에서는 개별 단계가 성공하더라도 가정이나 단위 등 맥락이 누락되면 최종 정보가 왜곡될 수 있다.
   • 전문가 테스트와 전체 워크플로 테스트를 모두 수행하여 사용자 관점의 실패 상황을 방지한다.
   • 사용자가 답변에 피드백을 제공하면 LLM 판사가 컨텍스트를 검토하여 자동으로 평가 케이스 초안을 작성한다.
5. 24:00 - 32:00

   권한 분리, 트레이스 정책 및 도입 가이드

   에이전트가 여러 시스템에 접근할 때 소스 권한 승인과 최종 결과물이 노출되는 청중 경계는 엄격하게 구분된다. 비공개 DM이나 민감한 채널에서는 보안을 위해 입력 및 출력 콘텐츠의 트레이스 캡처가 생략된다. 성공적인 에이전트 도입을 위해서는 처음부터 모든 것을 구현하려 하지 않고, 반복되는 구체적인 워크플로 하나를 선정해 소유자를 지정하고 검증된 결과부터 확장하는 접근이 유효하다.

   • 정보 조회를 위한 소스 접근 신원과 최종 결과물이 표시되는 오디언스는 별도의 경계로 분리 관리된다.
   • 비공개 채널이나 DM 등의 민감한 환경에서는 트레이스 콘텐츠 캡처를 생략하는 정책이 적용된다.
   • 작은 규모의 반복적인 워크플로 하나로 시작하여 소유자를 지정하고 결과를 테스트하며 점진적으로 확장해야 한다.
6. 32:00 - 43:05

   질의응답 세션

   질의응답 세션에서는 V의 독립 제품화 여부, 슬랙 인터페이스 관리 방식, 그리고 데이터 갱신 및 평가의 모호성 해결 방안이 논의된다. V는 Eve 프레임워크와 밀접하게 결합되어 있어 단독 제품보다는 버셀의 기업용 아키텍처 내에서 작동한다. 또한 모호한 프롬프트가 입력되었을 때 에이전트가 추가 확인 질문을 던지는 메커니즘이 평가와 신뢰성을 유지하는 중요한 요소로 작용한다.

   • V는 Eve 환경 내부에서 기업용 사용 사례에 맞춰 설계되었으므로 외부 독립 제품으로 분리되지는 않는다.
   • 대화형 슬랙 인터페이스 환경 속에서 사용자들이 뚜렷한 목적을 가지고 에이전트와 상호작용한다.
   • 명확하지 않은 모호한 질문이 들어올 경우 V는 추가 맥락을 확인하는 질문을 던져 정확도를 높인다.