AI 가치 격차 해소하기

VVercel
ManagementSmall Business/StartupsComputing/SoftwareInternet Technology

Transcript

00:00:00(경쾌한 음악)
00:00:02오늘은 AI 가치 격차를 해소하는 데 집중해 보려 합니다.
00:00:07이 주제의 전문가이자 Vercel의 고객인
00:00:10Dan Martinez 님을 모시게 되어 정말 기쁩니다.
00:00:13BCG Platinion의 매니징 디렉터이십니다.
00:00:16Dan, 환영합니다.
00:00:19- 감사합니다, Jane.
00:00:19함께하게 되어 영광입니다.
00:00:20- 좋습니다.
00:00:21논의의 장을 마련하기 위해 먼저 짚어보자면,
00:00:24BCG 조사 결과, 오직 5%의 기업만이
00:00:27AI를 통해 실질적인 가치를 창출하고 있는 반면,
00:00:3060%는 여전히 어려움을 겪고 있다고 합니다.
00:00:32이러한 격차가 발생하는 원인은 무엇일까요?
00:00:34기술적인 문제인가요, 실행의 문제인가요,
00:00:37아니면 전혀 다른 문제인가요?
00:00:40- Jane, 지난 3년을 되돌아볼까요?
00:00:44생성형 AI가 본격적으로 시작된 2023년 이후,
00:00:48많은 기업이 유스케이스와 파일럿 프로젝트를 시작했죠.
00:00:52일부 기업은 마치 얼마나 많은 유스케이스를
00:00:54확보하느냐로 경쟁하는 듯한 모습도 보였습니다.
00:00:57때로는 100개, 많게는 300개까지 시도하더군요.
00:00:59수백 개의 유스케이스를 운영하는 조직들도 보았습니다.
00:01:03결국 제 생각에는
00:01:04사람들의 역량이 너무 분산되어 버린 것 같습니다.
00:01:06이러한 아이디어 중 일부는 매우 사소했습니다.
00:01:08우리가 흔히 말하는 '프로세스의 재설계' 수준이 아니었죠.
00:01:11조직의 기능적 재설계와는 거리가 멀었습니다.
00:01:15그러다 보니 사람들은
00:01:17그 혼란 속에서 방향을 잃게 된 것 같습니다.
00:01:18그리고 이러한 아이디어들 중 일부는,
00:01:19비즈니스 목표 자체가 너무 낮았다고 생각합니다.
00:01:22또한, 이러한 아이디어들의 문제는
00:01:27역량 구축이 수반되지 않았다는 점이었습니다.
00:01:28유스케이스를 개발하긴 했지만,
00:01:30직군 체계가 어떻게 변할지 명확하지 않았던 거죠.
00:01:33업스킬링은 어떻게 변화하고,
00:01:35구성원들에게 어떤 영향을 주는지,
00:01:36프로세스에는 어떤 변화가 생기는지 말입니다.
00:01:37그래서 조직들은 가장 핵심적인 부분을 놓치고 있었는데,
00:01:39BCG에서는 이를 '10, 20, 70 법칙'이라고 부릅니다.
00:01:4210%는 기술 스택, 20%는 데이터 알고리즘,
00:01:47그리고 나머지 70%가 바로 업무의 핵심입니다.
00:01:49이 70%는 실질적인 실행의 영역이죠.
00:01:53비즈니스와 과업을 재고하고,
00:01:56프로세스를 차별화하며, 누가 교육을 받아야 하고,
00:01:58직무가 어떻게 변할지를 고민하는 과정입니다.
00:02:0023년과 24년에는 단순히 많은 이들이
00:02:03이러한 유스케이스를 실험하고 테스트하는 데 그쳤고,
00:02:07실제적인 부분은 깊게 고민하지 않았습니다.
00:02:09결국 실제 운영 환경에 적용되어야 하고
00:02:10확장이 가능해야 하는데 말이죠.
00:02:11고려해야 할 사항이 정말 많습니다.
00:02:13그래서 지금 기업들은 근력을 키우고,
00:02:18규율을 잡으며 주의를 기울이고 있습니다.
00:02:20리더십 차원에서도 이를 주시하고 있고요.
00:02:22이제 AI는 더 이상 단순한 기술 프로젝트가 아닙니다.
00:02:26AI는 더 이상 소규모 실험 과제가 아니죠.
00:02:30AI는 이제 필수적인 요소가 되었습니다.
00:02:31존립의 문제이자,
00:02:33경쟁 우위의 원천이 된 것입니다.
00:02:35- 네, 충분히 공감이 가는 말씀입니다.
00:02:3670%에 대한 언급이 인상적인데, 제가 GTM 업무를
00:02:40수행하며 발견한 많은 부분도 실상은,
00:02:42소위 '프리 프로덕션' 단계에 가깝습니다.
00:02:45최고 수준의 프로세스가
00:02:48어떤 모습이어야 하는지 이해하는 과정이죠.
00:02:49그리고 이를 뒷받침할 수 있는
00:02:51모든 콘텐츠를 갖추고 있는지 확인하는 일입니다.
00:02:53이와 관련해서 한 가지 덧붙이자면,
00:02:54엔터프라이즈 AI 담론에서
00:02:55자주 등장하는 표현이 있습니다.
00:02:57바로 '기록 시스템(Systems of Record)'에서
00:02:59'업무 시스템(Systems of Work)'으로의 전환입니다.
00:03:01이것이 실무에서는 무엇을 의미하며, 기업의
00:03:03기술 투자 관점에서 왜 중요한 걸까요?
00:03:07- 네, 저는 베이 지역의 한 VC가 쓴
00:03:09기사에서 이 개념을 처음 접했습니다.
00:03:1420년 전 디지털 기술의 등장과 함께,
00:03:17기업들은 온프레미스 소프트웨어에서 SaaS로,
00:03:20그리고 대규모 엔터프라이즈 패키지로 이동했습니다.
00:03:22이를 '기록 시스템'이라고 부르죠.
00:03:24Salesforce, ServiceNow, Workday 등을 떠올려 보세요.
00:03:28이들은 방대한 기업 데이터를 보유한 시스템입니다.
00:03:31고객, 주문, 배송 정보는 물론이고,
00:03:36재무 데이터까지 모두 이 시스템 안에 있습니다.
00:03:39하지만 시간이 흐르면서 사람들은
00:03:42새로운 방식의 협업을 원하게 되었습니다.
00:03:43이에 따라 더 현대적인 '참여 시스템
00:03:46(Systems of Engagement)'이 등장했죠. Slack이나 Teams 같은 것들요.
00:03:51Zoom도 예가 될 수 있겠네요. 사람들은 이러한 시스템으로
00:03:53소통하며 내외부적으로 협업합니다.
00:03:56즉, 엔터프라이즈 아키텍처 관점에서 보면
00:04:00사용자 인터페이스(UI)가
00:04:02기록 시스템에서 참여 시스템으로
00:04:04옮겨간 것이라고 볼 수 있습니다.
00:04:06그리고 현재 우리가 AI를 통해 목격하고 있는 것은
00:04:08전혀 새로운 현상입니다.
00:04:10일부 기록 시스템의
00:04:13비즈니스 로직이 이제 '업무 시스템'으로 이동하며,
00:04:16에이전트화(Agentic)되고 있다는 점이죠.
00:04:18과거에 규칙 기반의,
00:04:20결정론적인 기능으로 보이던 것들이,
00:04:22이제는 멀티 에이전트 시스템 내에서
00:04:25확률론적인 시스템 프롬프트로 변모하고 있습니다.
00:04:28물론 하이퍼스케일러들도 그 방향으로 움직이고 있습니다.
00:04:30수많은 플랫폼을 만들어내고 있죠.
00:04:32Vercel 또한 그 범주에 포함되어,
00:04:35기업들이 이러한 새로운 에이전트 시스템을
00:04:37매우 빠르고 신속하게 구축할 수 있도록 돕고 있습니다.
00:04:41또한 Salesforce와 같은 기업들도
00:04:42같은 방향으로 나아가고 있습니다.
00:04:44그들은 '에이전트 포스'를 하나의 역량으로
00:04:47구축하여 완성된 에이전트를 시장에 내놓고 있죠.
00:04:50이것은 이제 많은 CIO들이
00:04:52새로운 현실로 받아들이고 이해하기 시작한 부분입니다.
00:04:56이러한 기록 시스템에서 탈피하여,
00:04:58앞으로 기록 시스템에 어떻게 투자해야 할지,
00:05:01그리고 어떻게 하면 비즈니스 규칙을
00:05:03에이전트 시스템으로 전환할 수 있는
00:05:06역량을 쌓을 수 있을지에 대해 말이죠.
00:05:07이러한 흐름이 점점 더 명확해지고 있습니다.
00:05:102025년과 2026년은 조직들이
00:05:13멀티 에이전트 시스템으로 전환하고,
00:05:16실험 단계를 넘어 실제 운영 환경에 적용하며,
00:05:20회복 탄력성과 거버넌스, 그리고
00:05:23관련 아키텍처를 구축하기 시작한 시기입니다.
00:05:27이러한 양상은 26년과 27년에
00:05:29더욱 가속화될 것으로 예상됩니다.
00:05:31- 네, Vercel의 사례를 통해
00:05:33그 과정을 아주 구체적으로 설명해 드릴 수 있겠네요.
00:05:35말씀하신 내용은 저희가 여기서 겪은 경험과
00:05:38정확히 일치합니다.
00:05:39저희는 여전히 기록 시스템으로 Salesforce를 사용합니다.
00:05:44우선 인바운드 리드를 처리하기 위한
00:05:47단일 에이전트를 구축하는 것으로 시작했습니다.
00:05:49영업팀에 문의를 남기는 분들을 응대하는 에이전트였죠.
00:05:51그 에이전트를 구축함으로써
00:05:5410명의 영업 개발 담당자를 1명으로 줄일 수 있었습니다.
00:05:57그것이 플레이북 플랫폼의 기반이 되었고,
00:06:00현재는 영업 개발 기능 내에
00:06:02여러 유형의 에이전트를 운영하고 있습니다.
00:06:04이벤트 후속 조치나 핫한 PLG 리드 관리 같은
00:06:09업무들이 그 예입니다.
00:06:11이처럼 수많은 에이전트가 가동되고 있고,
00:06:13다음은 참여 시스템의 영역입니다.
00:06:16이러한 업무 흐름의 상당 부분이 Slack으로 연결되거나
00:06:19맞춤형 워크플로우 UI로 구축됩니다.
00:06:22Salesforce의 프론트엔드가 저희가 원하는 방식을
00:06:25항상 완벽하게 구현해 주는 것은 아니기 때문이죠.
00:06:28결국 방금 말씀하신 내용은
00:06:30저희가 지난 6개월간 AI를
00:06:34GTM에 본격 도입하며 목격한 것과 정확히 같습니다.
00:06:39- 기업들이 어떤 워크플로우를 우선순위에 두어야 할지
00:06:42어떻게 도움을 주시나요?
00:06:44Vercel은 '무분별한 AI 도입'을 지양하기 위해 노력 중입니다.
00:06:50저희 경험상 에이전트가 성공할 확률이
00:06:53가장 높은 업무는 다소
00:06:57반복적이고 결정론적인 성격의 과업이었습니다.
00:06:59인지적 부하가 그리 크지 않은 일들이죠.
00:07:02방금 말씀하신 리드 관리 사례가 좋은 예가 되겠네요.
00:07:05이것이 실제 시장 상황과도 일치할까요?
00:07:07BCG의 견해로는, 단순히 '유스케이스'에 매몰된
00:07:10사고방식에서 벗어나야 한다는 것 같은데,
00:07:13'파일럿의 늪'이라는 표현도 들어본 적이 있습니다.
00:07:16Vercel이 경계하는 '무분별한 AI 도입'과
00:07:18일맥상통하는 부분이 있겠군요.
00:07:20그렇다면 신속한 프로토타이핑 단계를 넘어,
00:07:23실질적인 가치를 창출할 수 있는 유스케이스를
00:07:24어떻게 선정해야 할까요?
00:07:26- 네, 그 점에 있어서는 전적으로 동의합니다.
00:07:2823년과 24년에는 모두가 파일럿의 늪에 빠져 있었습니다.
00:07:32기술을 배우고 파악하며, 정확도와
00:07:35환각 문제를 해결하고 RAG 애플리케이션을 구축했지만,
00:07:40결국 확장하는 것이 매우 어렵다는 사실을 깨닫게 되었죠.
00:07:44확장이 어려운 이유는 비즈니스 관점에서
00:07:47해야 할 일이 많기 때문이라는 점도 알게 되었습니다.
00:07:48인력을 재교육하고 프로세스를 재고하는 일들 말입니다.
00:07:50그래서 저희는 파일럿 위주의 사고방식에서 벗어나
00:07:53'가치 풀(Value Pools)'에
00:07:58집중하는 방식으로 전환했습니다.
00:08:01조직 전체를 새롭게 변화시킬 수 있는
00:08:05거대한 기회가 어디에 있는지 찾는 것이죠.
00:08:06예를 들어, 서비스 조직은 어떻게 달라질 것인가?
00:08:10재무 기능은 어떻게 변모할 것인가?
00:08:13공급망 관리 기능은 또 어떻게 달라질 것인가?
00:08:15이처럼 범위를 넓혀 가치 사슬 차원에서 생각하고,
00:08:18가치 사슬 내의 구체적인 사례들을 선택해 추진하되,
00:08:21더 큰 전체적인 그림에 집중하는 것입니다.
00:08:25또한, 비즈니스 중심의 관점을 유지하면서
00:08:26리스크, 컴플라이언스, 법무팀이 협업하여
00:08:29모든 세부 사항을 완벽히 파악할 수 있는 범위여야 합니다.
00:08:32그래서 저희는 유스케이스 중심에서
00:08:35가치 풀 중심으로 이동한 것입니다.
00:08:36그렇다고 기업들이 유스케이스라는 말을 쓰지 않는 건 아닙니다.
00:08:41여전히 그 용어는 사용되고 있지만,
00:08:43방점은 가치 풀로 옮겨가고 있습니다.
00:08:45시장에서 매우 명확하게 드러나는
00:08:46가치 풀들의 사례를 볼 수 있습니다.
00:08:48예를 들어, 고객 서비스나 헬프 데스크 업무는
00:08:50예를 들어, 서비스, 고객 서비스, 헬프 데스크는
00:08:52기업들이 AI를 사용하는 분야 중
00:08:55거의 첫 번째라고 할 수 있습니다.
00:08:57이 분야에서 스타트업들이
00:09:00더 많이 등장하기 시작했습니다.
00:09:01일부는 시장에서 잘 자리를 잡아가고 있죠.
00:09:05소프트웨어 엔지니어링을 위한 AI도 있습니다.
00:09:06조직에게 이는 거대한 가치 풀입니다.
00:09:09Vercel이 시장의 선두주자 중 하나로서
00:09:11정확히 위치하고 있는 지점이기도 하며,
00:09:13이 여정을 주도하고 변화를 이끌고 있습니다.
00:09:15우리는 이제 막 시작 단계에 있다고 생각합니다.
00:09:18이 도구들이 도입되기 시작했고,
00:09:21엔지니어링 팀들이 그 기반 위에서 개발하고 있습니다.
00:09:24이러한 도구들 중 일부는 더 통합되고 있으며
00:09:27기업의 생태계에 깊숙이 내장되고 있습니다.
00:09:32사실 제가 Vercel에 대해 정말 좋아하는 점 중 하나는
00:09:34이미 매우 사려 깊게 설계된
00:09:36수많은 통합 기능을 구축했다는 점입니다.
00:09:39기업들이 이러한 작업을
00:09:42하이퍼스케일러에서 수행하려면,
00:09:44수많은 서비스 중에서 선택해야 하는 등의 과정을 거쳐야 하죠.
00:09:47다시 한번 말씀드리지만, 이제 겨우 시작일 뿐입니다.
00:09:49우리는 빠르게 이러한 기술들을 사용하여
00:09:52멀티 에이전트 시스템을 구축하고,
00:09:54조직의 디지털 트윈을 구축하는 단계로 나아갈 것입니다.
00:09:57그리고 여기서부터 조직의
00:10:00다음 미래를 대비한 모습이 나타나기 시작하죠.
00:10:02BCG에서 부상하고 있는 것은
00:10:06프로세스나 기능, 파트너의
00:10:10디지털 트윈을 개발하는 능력입니다.
00:10:13이는 매우 확장 가능한 개념입니다.
00:10:16유스케이스나 가치 풀에
00:10:18집중하는 대신,
00:10:20조직의 디지털 트윈을 생성한 다음
00:10:22개선 아이디어를 시뮬레이션할 수 있다면 어떨까요?
00:10:25저희는 특정 문제를 가진 조직이 찾아오면
00:10:28이미 그런 방식을 시도해보고 있습니다.
00:10:32우리는 일종의
00:10:35"재구상 AI" 같은 것을 만들어,
00:10:38여기에 데이터를 입력하고
00:10:39작업과 프로세스, 그리고 "가정 시나리오"를
00:10:42기업 수준에서 재시뮬레이션합니다.
00:10:45정말 흥미로운 실험입니다.
00:10:47이 또한 이제 막 시작하는 단계라고 느끼지만,
00:10:49이를 통해 조직 내에서 어떻게
00:10:52이러한 가치 풀을 찾을 수 있을지 알게 될 것입니다.
00:10:56당신이 말씀하신 요점과는 약간 다를 수 있지만,
00:10:58디지털 트윈에 대한 생각에 덧붙이자면,
00:11:01저희에게는 내부 데이터 에이전트가 있습니다.
00:11:04약 10년 정도의
00:11:07경력을 가진 데이터 과학 분석가와
00:11:09비슷한 수준의 능력을 갖췄다고
00:11:11생각하시면 됩니다.
00:11:13그런데 이번 주말에 누군가 그 에이전트를
00:11:16경영진 채널에 추가했습니다.
00:11:18그래서 저희는 모두 이것이
00:11:21첫 번째 에이전트 승진이라며 농담을 했죠.
00:11:23하지만 실제로 저희는 그런 작업을 하고 있습니다.
00:11:27데이터 과학 측면에서는
00:11:28꽤 진척이 되었다고 생각합니다.
00:11:31그 팀이 만들고 있는 에이전트들이 실제로
00:11:33디지털 트윈이라는 것을 확인할 수 있습니다.
00:11:36당신은 또한 프로토타입에서 운영 단계로
00:11:39어떻게 넘어가는지에 대해서도 언급하셨죠.
00:11:42통합과 같은 것들을 다루면서요.
00:11:44사람들이 프로토타이핑을 할 때는
00:11:48반드시 고려하지 않을 수도 있는 부분들입니다.
00:11:50하지만 굳이 AWS에서 20개의 기반 서비스를
00:11:53직접 띄우고 싶지는 않을 것입니다.
00:11:56그렇다면 그 간극을 메우는
00:12:00가장 좋은 방법은 무엇이라고 보십니까?
00:12:02저희는 그러한 간극을 조직을 위한
00:12:04특정 아키타입으로 분류하기 시작했습니다.
00:12:06저희는 AI 에이전트의 네 가지 아키타입을 고안했습니다.
00:12:09첫 번째는 사람들이 에이전트 개발을
00:12:13셀프 서비스로 수행하는 것입니다.
00:12:14그들은 아마도,
00:12:16어떤 이들은 이것을 에이전트라 부를 수도 아닐 수도 있지만,
00:12:18상관없이 맞춤형 GPT나
00:12:23사람들이 직접 사용하는 셀프 서비스 도구,
00:12:26예를 들어 클라우드 기술 같은 것들을 사용하여
00:12:29자신만의 에이전트를 개발하고
00:12:32시스템과 연결할 것입니다.
00:12:33예를 들어, 저는 매일 아침 실행되어
00:12:37제 이메일을 읽고 요약해주는 에이전트가 있습니다.
00:12:40제가 무엇을 해야 하는지, 어떤 조치를 취해야 하는지 알려주고
00:12:43응답이 필요한 이메일을 우선순위에 따라 보내줍니다.
00:12:45이것이 바로 셀프 서비스 에이전트입니다.
00:12:47도구 중 하나에서 실행되며 개인적으로 큰 도움이 됩니다.
00:12:52하지만 조직 내의 직원들이
00:12:55여전히 직접 구축하는 다른 유형의 에이전트도 보게 될 것입니다.
00:12:58마이크로소프트 코파일럿 같은 도구로 구축되어
00:13:02기업 시스템에서 실행되고,
00:13:04SharePoint 같은 도구에 연결되거나
00:13:08데이터에 연결되어 실행되는 것들이죠.
00:13:09조금 더 정교하지만
00:13:11여전히 직원이 직접 개발하는 영역에 있습니다.
00:13:14그다음은 회사들이 에이전트를 구매하는 경우입니다.
00:13:17그들은 에이전트 포스(Agent Force) 등에서
00:13:19에이전트를 구매하게 될 것입니다.
00:13:20그래서 저희는 예를 들어 에이전트에 대한
00:13:22시장 조사를 더 많이 수행하기 시작했습니다.
00:13:25디지털 앱이나 SaaS 기업들에 대해 했던 것처럼 말이죠.
00:13:28이제는 에이전트에 대한 시장 조사를 합니다.
00:13:31그리고 그다음은 IT 부서가 개입하여
00:13:33엔터프라이즈 에이전트를 개발하는 단계입니다.
00:13:36그 단계는 예술이라기보다 훨씬 더 과학에 가까워질 것입니다.
00:13:40그렇게 되면,
00:13:42이러한 에이전트들에 대해 많은 엄격함이 요구될 것입니다.
00:13:45우리는 그것들을 테스트하고 잘 개발해야 하며,
00:13:48정보 보안 및 정책과 관련하여
00:13:50훨심 더 많은 정밀 조사가 이루어질 것입니다.
00:13:55법적 엄격함도 포함되겠죠.
00:13:57예를 들어, 책임감 있는 AI가 매우 크고
00:14:00중요한 구성 요소이자 가드레일이 될 것입니다.
00:14:02이러한 에이전트들을 위해 저희는 이를 개발하는 방식에 대한
00:14:06엔터프라이즈 프레임워크를 가지고 있습니다.
00:14:08여기가 바로 AI 코딩 도구가
00:14:10IT 팀에게 엄청난 가치를 제공하게 되는 지점입니다.
00:14:14구매와 구축 중 무엇을 할지 고민할 때,
00:14:19Vercel과 같은 솔루션과 AI 코딩 도구들이
00:14:21IT 팀이 직접 구축하는 데 있어서
00:14:25매우 능숙해지도록 도와줄 것이라고 생각합니다.
00:14:26네, 전적으로 동감합니다.
00:14:27CIO들이 소프트웨어 구매자에서
00:14:30소프트웨어 구축자로 변하고 있다는 점에 대해 같은 견해를 가진 것 같군요.
00:14:34Vercel에서 보고 있는 유스케이스들 중 상당수는
00:14:37외부용만큼이나 내부용 애플리케이션들입니다.
00:14:40CIO들이 단순한 구매자가 아니라
00:14:42이제 소프트웨어 구축자가 된다면,
00:14:44역할 관점에서 어떤 변화가 생길까요?
00:14:47CIO의 역할에서 무엇이 새로워질까요?
00:14:50그 점이 흥미롭습니다. 왜냐하면 한편으로는,
00:14:54이것이 구매와 구축에 대한 논의를 완전히 격상시키고
00:14:58IT에 어떤 의미가 있는지 보여주기 때문입니다.
00:15:00저희는 소비재 기업들과 같은 곳에서
00:15:05에이전트 개발자를 고용하기 시작하는 것을 보았습니다.
00:15:07이들은 데이터 과학 박사 학위가 있고
00:15:11파이썬을 아주 잘 아는
00:15:15전형적인 머신러닝 엔지니어가 아닙니다.
00:15:18제가 그런 기업 중 한 곳의 채용 공고를 보았는데
00:15:22파이썬 지식조차 요구하지 않았습니다.
00:15:27우리는 지금 아주 낯선 새로운 세상으로 들어가고 있는 것이죠.
00:15:30이제 사람들은 자신만의 에이전트를 개발할 수 있는
00:15:33능력과 자립성을 갖추게 되었습니다.
00:15:35네, 당신이 여기서 설명하고 있는 내용의 상당 부분은
00:15:37실제로 중앙 집중식 AI 플랫폼입니다.
00:15:39당신의 연구에 따르면 미래 지향적인 기업들은
00:15:43중앙 AI 플랫폼을 운영할 가능성이 3배 더 높습니다.
00:15:46에이전트들이 기업 전반에 걸쳐 증식하고 있죠.
00:15:48그렇다면 실제 플랫폼 아키텍처는 어떤 모습이어야 할까요?
00:15:52저희는 조직들과 이 플랫폼을 어떻게 설계할지에 대해
00:15:54수많은 대화를 나누어 왔습니다.
00:15:57그리고 제가 보기에,
00:16:012년 전의 설계는
00:16:05단순한 RAG 애플리케이션 구축에 많이 집중되어 있었습니다.
00:16:08벡터 데이터베이스를 선택하고,
00:16:12모델 가든에 있는 LLM을 선택하고,
00:16:16애플리케이션 수준에서 가드레일을 구축하면
00:16:18준비가 끝나는 것이었죠.
00:16:19가장 큰 고민거리는 정확도 문제뿐이었습니다.
00:16:23하지만 이제 그런 생각에서 벗어나고 있습니다.
00:16:28요즘에는 훨씬 더 복잡해지고 있죠.
00:16:31에이전트 수준뿐만 아니라 가드레일이 더 필요합니다.
00:16:33오케스트레이션 수준에서의 가드레일도 필요하죠.
00:16:36정확도뿐만 아니라,
00:16:38핵심 시스템과의 통합도 제어해야 합니다.
00:16:43이러한 에이전트의 보안에 대해
00:16:46다각도로 생각하는 방식이 존재합니다.
00:16:47생각할 것이 아주 많죠.
00:16:50CIO들은 이 추가적인 복잡성을 다룰 수 있도록
00:16:55IT 팀의 역량을 높이고 아키텍처 팀을
00:16:56적응시켜야 하는 상황에 처해 있습니다.
00:16:59하지만 그것이 멀티 에이전트 시스템으로 갈 때
00:17:00우리가 고려해야 할 사항입니다.
00:17:02멀티 에이전트 시스템은 조직이 받아들이기에
00:17:04큰 도전이 되겠지만,
00:17:0626년과 27년에 나타날 가치의
00:17:09큰 부분을 차지할 것으로 보고 있습니다.
00:17:12방금 애플리케이션 계층에 대해 약간 언급하셨는데요.
00:17:15우리가 이야기했던 "업무 시스템"으로 나아간다면,
00:17:18애플리케이션 계층은 어떤 역할을 하게 될까요?
00:17:20모델과 사용자 사이에 위치하는 소프트웨어의
00:17:23전략적 중요성이 더 커질까요, 아니면 작아질까요?
00:17:25분명히 전략적인 역할을 할 것입니다.
00:17:29그것들이 기록 시스템(System of Record)이기 때문입니다.
00:17:31따라서 궁극적으로 조직 내
00:17:36데이터 저장소를 보유하고 있는 셈이죠.
00:17:36그런 의미에서 계속해서 매우 가치 있는 존재로 남을 것입니다.
00:17:41또한 조직 내에서 에이전트가 사용할 수 있는
00:17:44엔터프라이즈 API를 제공한다는 점에서도 매우 가치가 큽니다.
00:17:49하지만 문제는 일부 비즈니스 로직이
00:17:53기록 시스템에서 업무 시스템으로 이동하고 있다는 점입니다.
00:17:58그래서 SaaS의 미래가 어떻게 될 것인가 하는 의문이 생기죠.
00:18:02일부 기술 리더들은 SaaS가 죽었다고 말하기도 합니다.
00:18:06저는 아직 그 정도까지는 아니라고 보지만,
00:18:09SaaS가 아주 구체적인 구조와
00:18:11특정 통제 지점을 가진
00:18:14매우 강력한 데이터베이스가 될 것이라고 생각합니다.
00:18:17그리고 그런 방식으로 계속 가치를 유지할 것입니다, 그렇죠?
00:18:20일부 기업들은 이러한 트렌드가
00:18:22다가오고 있음을 깨닫고 AI로 전환하고 있는데,
00:18:25정말 타당한 행보라고 봅니다.
00:18:27어떤 기업들은 기존의 입지를 고수하며
00:18:30상황을 지켜보는 모드에 있기도 하죠.
00:18:33하지만 향후 12~24개월 내에 우리는
00:18:37이러한 '업무 시스템(Systems of Work)'이
00:18:38부상하는 것을 보게 될 것입니다.
00:18:40이들 중 상당수는 훌륭한 매수 기회를 제공하고 있습니다.
00:18:43저는 SaaS 기업들이 '디지털 퍼스트'가 아닌
00:18:46'AI 퍼스트'가 되어야 한다고 생각합니다.
00:18:49시간이 좀 걸리겠지만요,
00:18:50특히 대형 기업들에게는 더 그렇겠죠.
00:18:52기회가 많다고 말씀하셨지만, 한편으로는
00:18:54현재 AI 벤더 시장이 너무 압도적이라고 볼 수도 있습니다.
00:18:57거의 모든 카테고리에 10개 정도의 플레이어가 있는 것 같은데,
00:18:58장기적으로 유지될 수 있는 수보다
00:19:01훨씬 더 많은 것 같거든요.
00:19:04엔터프라이즈 구매자들이 마케팅과
00:19:05실제 성능을 구분하기 위해 어떤 질문을 던져야 할까요?
00:19:08또한 특정 도구가 실제로 가치를 제공할지,
00:19:11아니면 무용지물이 될지 어떻게 평가해야 하나요?
00:19:13우선 기술적 적합성이 확실히 중요합니다.
00:19:17해당 에이전트들이 기업의 인프라에서
00:19:20어떻게 구동될 것인가 하는 점이죠.
00:19:24기존 기술 스택에 어떻게 통합되는가?
00:19:27예를 들어, '기록 시스템(Systems of Record)'과는
00:19:31어떻게 연동되는가 하는 논의가 계속되고 있습니다.
00:19:34그다음은 엔터프라이즈 적합성에 대해 질문해야 합니다.
00:19:37예를 들어, 컴플라이언스를 어떻게 관리하는가?
00:19:40리스크는 어떻게 관리하는가?
00:19:43데이터 프라이버시는 어떻게 다루는가?
00:19:45이것들이 가장 중요한 질문들입니다.
00:19:47이런 질문들에 대해 제대로 된 답변이 없다면
00:19:49엔터프라이즈 기업에서는 시작조차 할 수 없습니다.
00:19:52또한 비용 측면을 살펴봐야 합니다.
00:19:54'구매 vs 자체 구축' 비용을 따져봐야 하는데,
00:19:56이런 솔루션들 중 일부는 매우 비쌉니다.
00:19:59사용자당 월별 요금을 부과하기도 하죠.
00:20:02그래서 기업에서는 이런 유형의 솔루션을 위한
00:20:06예산을 별도로 책정해야 할 것입니다.
00:20:10이런 솔루션들은 계속 등장할 것이고,
00:20:12더 비싸지겠지만 가치는 매우 높습니다.
00:20:14그리고 회사의 성숙도를 확인해야 합니다.
00:20:16말씀하신 것처럼 새로운 진입자들이 많습니다.
00:20:17대부분이 여전히 시리즈 A나 시리즈 B 단계에 있고,
00:20:20직원 수도 100명 내외인 경우가 많습니다.
00:20:23엔터프라이즈 시장에 진입하려는 젊은 기업들이죠.
00:20:25하지만 엔터프라이즈 시장은 매우 복잡하고
00:20:28많은 세심한 주의를 필요로 합니다.
00:20:31판매 주기 또한 매우 깁니다.
00:20:32새로운 AI 에이전트를 도입하는 데에만
00:20:346개월에서 9개월이 걸리는 회사들도 있습니다.
00:20:39그건 꽤 합리적인 수치이며,
00:20:41현장에서는 늘 있는 일입니다.
00:20:43기업들은 이 프로세스를 어떻게 단축할지 고민하지만,
00:20:46벤더를 온보딩하기 위해서는
00:20:49많은 실사 과정이 필요합니다.
00:20:50그런데 흥미로운 점은, 일부 벤더들은
00:20:51중소기업부터 시작했다는 것입니다.
00:20:54일부 AI 에이전트 벤더들은
00:20:56일반 소비자 시장에서 시작하기도 했죠.
00:20:58제가 협력 중인 한 업체는
00:21:00이번 분기에 처음으로 엔터프라이즈 매출이
00:21:03일반 소비자 매출을 넘어설 것으로 보입니다.
00:21:06다시 말씀드리지만, 엔터프라이즈가
00:21:08이런 솔루션들의 가장 큰 고객이 되는
00:21:12변화의 흐름이 보이기 시작한 것입니다.
00:21:14네, 저희 Vercel에서도 같은 현상을 목격하고 있습니다.
00:21:15댄, 오늘 함께해주셔서 정말 감사합니다.
00:21:19정말 유익한 대화였습니다.
00:21:21시청해주신 모든 분들께 알려드립니다.
00:21:24대화를 이어가고 싶다면 링크드인에서
00:21:28댄이나 저에게 연락해 주세요.
00:21:31여러분들의 조직에서는 어떤 변화가 일어나고 있는지
00:21:33정말 궁금합니다.
00:21:36프로토타입에서 프로덕션 단계로 넘어갈 준비가 되셨다면,
00:21:37v0.app에서 새로운 V0를 확인해 보세요.
00:21:38아이디어를 실제 배포된 애플리케이션으로
00:21:41그 어느 때보다 쉽게 전환할 수 있는
00:21:43대규모 업데이트를 방금 출시했습니다.
00:21:45첫 번째 Shipped Q&A에 참여해주셔서 감사합니다.
00:21:48그럼 다음 시간에 뵙겠습니다.
00:21:51(잔잔한 음악)
00:21:53아이디어를 실제 배포된 애플리케이션으로
00:21:55그 어느 때보다 쉽게 전환할 수 있게 되었습니다.
00:21:58저희의 첫 번째 Shipped Q&A에 참여해주셔서 감사합니다.
00:22:01다음에 다시 뵙겠습니다.
00:22:03(잔잔한 음악)

Key Takeaway

AI 가치 격차를 해소하려면 단순 실험 중심의 유스케이스 나열에서 벗어나 조직의 70%에 해당하는 비즈니스 프로세스 실행 영역과 에이전트 기반의 업무 시스템 구축에 집중해야 한다.

Highlights

  • 기업의 AI 프로젝트 중 70%는 기술이 아닌 비즈니스 프로세스 재설계와 인력 업스킬링에 집중해야 실질적인 가치를 창출한다.

  • BCG 조사 결과 오직 5%의 기업만이 AI로 실질적인 가치를 창출하고 있으며 60%는 실행 단계에서 어려움을 겪고 있다.

  • Vercel은 인바운드 리드 처리 에이전트를 도입하여 기존 영업 개발 담당 인력을 10명에서 1명으로 90% 감축했다.

  • 미래 지향적인 기업은 단순한 RAG 애플리케이션 구축을 넘어 멀티 에이전트 시스템과 조직의 디지털 트윈 시뮬레이션으로 진화하고 있다.

  • AI 아키텍처의 중심은 기록 시스템(Systems of Record)에서 비즈니스 로직을 에이전트화하는 업무 시스템(Systems of Work)으로 이동 중이다.

  • 미래의 CIO는 단순한 소프트웨어 구매자에서 AI 코딩 도구를 활용해 직접 솔루션을 구축하는 구축자로 역할이 변화한다.

Timeline

AI 가치 창출을 가로막는 원인과 10-20-70 법칙

  • 수백 개의 유스케이스를 단순 실험하는 방식은 조직의 역량을 분산시키고 실질적인 프로세스 재설계에 실패하게 만든다.
  • 성공적인 AI 도입 비중은 기술 10%, 데이터 알고리즘 20%, 비즈니스 프로세스 및 인력 변화 70%로 구성된다.
  • 2023년과 2024년의 실험 단계를 지나 이제 AI는 기술 프로젝트가 아닌 생존과 경쟁 우위를 위한 필수 요소로 자리 잡았다.

많은 기업이 100개에서 300개에 달하는 유스케이스를 시도하지만 정교한 비즈니스 목표 설정과 직군 체계 변화가 수반되지 않아 혼란을 겪는다. 핵심은 실제 운영 환경에서의 확장 가능성을 고려하여 업무 방식을 근본적으로 재고하는 실행 영역에 있다. 리더십 차원에서 AI를 단순 기술 과제가 아닌 조직 운영의 근력과 규율을 잡는 핵심 전략으로 대우해야 한다.

기록 시스템에서 업무 시스템으로의 아키텍처 전환

  • 엔터프라이즈 아키텍처는 데이터 보관 중심의 기록 시스템에서 소통 중심의 참여 시스템을 거쳐 실행 중심의 업무 시스템으로 진화한다.
  • 과거의 규칙 기반 비즈니스 로직이 멀티 에이전트 시스템 내의 확률론적인 시스템 프롬프트로 변모하고 있다.
  • 2025년과 2026년은 실험을 넘어 회복 탄력성과 거버넌스를 갖춘 실제 운영 환경의 에이전트 시스템 도입이 가속화되는 시기다.

Salesforce나 Workday와 같은 기존 기록 시스템은 데이터를 보유하는 데 집중했으나 이제는 이 데이터와 로직이 업무 시스템으로 이동하며 에이전트화되고 있다. 이러한 흐름 속에서 하이퍼스케일러와 Vercel 같은 플랫폼들이 기업의 신속한 에이전트 구축을 지원한다. CIO들은 기존 기록 시스템에 대한 투자를 넘어 비즈니스 규칙을 에이전트 시스템으로 전환하는 역량을 확보해야 한다.

Vercel의 실제 에이전트 도입 사례와 성과

  • 단일 에이전트 구축을 통해 10명의 영업 개발 담당자가 처리하던 인바운드 리드 응대 업무를 1명으로 최적화했다.
  • 영업 개발 기능 내에서 이벤트 후속 조치와 PLG 리드 관리 등 다양한 전문 에이전트를 운영하여 워크플로우를 자동화한다.
  • 반복적이고 인지적 부하가 낮은 결정론적 성격의 과업이 에이전트 도입 시 성공 확률이 가장 높다.

Vercel은 기록 시스템인 Salesforce를 그대로 유지하면서 프론트엔드 워크플로우를 에이전트 기반으로 재구축했다. 초기 리드 관리 에이전트의 성공을 바탕으로 다양한 업무용 에이전트들을 Slack이나 맞춤형 UI와 연결하여 사용 중이다. 이는 단순히 기술을 도입하는 것이 아니라 업무의 프리 프로덕션 단계부터 프로세스를 이해하고 콘텐츠를 준비한 결과다.

파일럿의 늪을 탈출하는 가치 풀 중심 사고

  • 개별 유스케이스에 매몰된 파일럿의 늪에서 벗어나 조직 전체를 변화시킬 수 있는 거대한 가치 풀에 집중해야 한다.
  • 서비스 조직, 재무, 공급망 관리 등 가치 사슬 차원에서 전체적인 그림을 그리고 구체적인 사례를 추진한다.
  • 조직의 프로세스와 파트너를 가상으로 구현한 디지털 트윈 시뮬레이션을 통해 개선 아이디어를 사전 검증한다.

정확도나 환각 문제를 해결하는 기술적 단계를 넘어 인력 재교육과 프로세스 재고를 포함한 대규모 확장 단계로 나아가야 한다. 고객 서비스나 소프트웨어 엔지니어링 분야는 현재 가장 명확한 가치 풀로 나타나고 있으며 이미 관련 도구들이 기업 생태계에 깊숙이 내장되고 있다. '재구상 AI'를 활용해 데이터를 입력하고 가정 시나리오를 시뮬레이션함으로써 조직의 미래를 대비할 수 있다.

에이전트의 4가지 아키타입과 CIO의 역할 변화

  • 에이전트는 셀프 서비스, 직원 구축형, 구매형, IT 부서 주도 엔터프라이즈형의 4가지 범주로 분류된다.
  • 엔터프라이즈 에이전트 개발은 예술보다 과학에 가까우며 정보 보안, 법적 엄격함, 책임감 있는 AI 가드레일이 필수적이다.
  • 미래의 기업은 중앙 AI 플랫폼을 운영할 가능성이 3배 더 높으며 SaaS는 강력한 데이터 저장소의 역할로 재편된다.

이메일 요약과 같은 개인용 에이전트부터 IT 부서가 엄격한 보안 하에 개발하는 전사적 에이전트까지 다양한 형태가 공존하게 된다. CIO는 이제 소프트웨어 구매자에서 구축자로 변모하며 파이썬 지식이 없어도 에이전트를 개발할 수 있는 새로운 직군을 고용하는 추세다. 새로운 AI 벤더를 선정할 때는 기존 스택과의 통합성, 컴플라이언스 준수 여부, 사용자당 비용 효율성을 엄격하게 실사해야 한다.

Community Posts

View all posts