AI가 나를 100배 빠르게 만들지만 회사는 그렇지 않은 이유 — 미첼 트로야노프스키(Basis)

하이라이트

• 개인은 에이전트를 통해 생산성이 100배 향상되었으나 일반 기업의 전체 생산성은 그만큼 늘어나지 않았다.

• 에이전트가 직면한 두 가지 주요 문제는 사용자에게 복잡성을 전가하는 역량 격차와 개별 직원의 방식에 의존하게 만드는 프로세스 격차이다.

• 에이전트는 모든 작업에서 무작위로 최적화를 시도하는 대신 뚜렷한 주관과 일관된 원칙을 유지해야 한다.

• 에이전트의 작동 방식을 명확히 정의하는 동작 사양(behavior spec)은 프로덕션 환경의 평가 기준을 대규모로 확장하는 데 활용된다.

• 에이전트의 실행 경로 중 실패 지점에서 분기를 생성하여 원인을 분석하는 포킹(forking) 기법은 시스템 신호를 포착하는 데 쓰인다.

타임라인

1. 00:00 - 03:29

   개인 생산성과 기업 생산성의 격차

   Basis 공동 창업자인 미첼은 에이전트를 사용하는 개인의 생산성이 비약적으로 증가한 반면 일반 기업 조직은 그렇지 않다고 지적한다. 인간은 본래 결정론적이지 않지만 회사는 명확한 프로세스를 마련해 하위 직원의 업무 결과를 신뢰한다. 월간 회계 처리나 은행 데이터 대조 같은 세부 업무에도 승인된 소프트웨어를 사용하는 등의 정해진 프로세스가 존재한다.

   • 개인 개발자는 코딩 에이전트를 통해 생산성이 100배 향상되었다.
   • 일반 기업이나 회계법인 조직 전체의 생산성은 그만큼 급증하지 않았다.
   • 조직은 비결정론적인 인간 직원들이 프로세스를 따르도록 만들어 신뢰성을 확보한다.
2. 03:29 - 06:51

   에이전트 도입의 두 가지 한계점

   시중에 나와 있는 에이전트 제품들은 사용자에게 스킬과 메모리 관리 책임을 전가하는 역량 격차 문제를 안고 있다. 또한 에이전트 작동 방식을 각 사용자가 제각각 설정하게 만드는데 이는 조직의 프로세스 확장 방식과 정면으로 배치된다. 프로덕션급 에이전트는 동료처럼 쉽게 지시할 수 있어야 하며, 천재성을 발휘하다가도 기초적인 실수를 하는 변덕스러움 대신 일관되고 신뢰할 수 있는 모습을 보여야 한다.

   • 역량 격차는 복잡성을 사용자에게 떠넘겨 지식 노동자들이 에이전트를 다루기 어렵게 만든다.
   • 프로세스 격차는 개별 사용자가 각자의 방식으로 에이전트를 커스텀하게 만들어 조직의 일관성을 해친다.
   • 프로덕션급 에이전트는 사용자가 내부 동작을 신경 쓰지 않아도 되도록 간편해야 한다.
3. 06:51 - 13:24

   에이전트의 주관 정립과 평가 방식

   PDF를 추출하거나 세무 처리 및 파워포인트 서식을 다룰 때 무작위로 여러 방법을 시도하기보다는 검증된 단계를 거치도록 하는 주관이 필요하다. 정답이 정해진 전통적인 결과 기반 평가는 복잡한 프로덕션 환경의 모든 경우의 수를 커버하기 어렵다. 따라서 시스템 프롬프트와 툴 설명 등 런타임 학습 데이터를 종합하여 원하는 의도와 행동을 정의하는 동작 사양 개념을 구축해야 한다.

   • 에이전트는 PDF를 읽거나 세무 업무를 처리할 때 자신만의 뚜렷한 주관과 원칙을 가져야 한다.
   • 결과 기반 평가만으로는 수십만 가지 실행 경로와 장기 호라이즌을 지닌 프로덕션 환경을 전부 증명할 수 없다.
   • 동작 사양(behavior spec)은 팀 간의 의도를 일치시키고 대규모 실행 경로를 모니터링하는 평가 기준으로 사용된다.
4. 13:24 - 17:10

   포킹과 시뮬레이션을 통한 피드백 루프 완성

   에이전트가 동작 평가를 통과하지 못했을 때 실행 경로를 추적하여 직전 시점에서 포크를 생성하면 구체적인 의사결정 원인을 파악할 수 있다. 전체 환경을 포킹하는 과정은 비용이 많이 들기 때문에, 코딩 에이전트에 하위 에이전트 역할을 맡겨 시나리오를 시뮬레이션하는 방법이 유용하다. 이처럼 주관을 바탕으로 프로세스를 감독하면 피드백 루프를 완성하여 스스로 개선되는 시스템을 만들 수 있다.

   • 포킹 기법은 에이전트가 잘못된 결정을 내린 직전 시점으로 돌아가 분기를 만들고 원인을 분석하게 해준다.
   • 시뮬레이션은 하위 에이전트를 활용해 비용 효율적이고 빠르게 아이디어를 반복 수정할 수 있는 방법이다.
   • 이러한 감독 도구들은 에이전트가 올바른 분포로 수렴하고 있는지 추가적인 신호를 제공한다.
5. 17:10 - 19:04

   조직 생산성 확장을 위한 에이전트의 조건

   사람들은 에이전트가 알아서 최적화하기를 기대하기도 하지만, 세금 신고 같은 실제 업무에서는 조직원들이 신뢰할 수 있는 방식으로 확실하게 처리되는 것이 중요하다. 에이전트가 널리 보급되려면 사용하기 단순해야 하고 팀이 믿고 쓸 수 있어야 한다. 명확한 주관과 방향성을 바탕으로 신호를 구축하고 피드백 루프를 돌릴 때 비로소 프로덕션 환경에서 제대로 작동하는 에이전트를 완성할 수 있다.

   • 인간이 입사 동료의 PR을 검토할 때 유능함과 영향 범위를 고려하듯 에이전트 협업에도 동일한 원리가 적용된다.
   • 에이전트가 스스로 일정을 최적화하게 내버려 두는 것은 GDP와 생산성을 기업 규모로 확장하는 방식이 아니다.
   • 단순함과 신뢰성에 도달하기 위해서는 행동 방식에 대한 뚜렷한 철학인 주관을 세워야 한다.