스크립트
00:00:00몇 시간 전에 새로운 AI 모델이 출시되었는데, 정말 게임 체인저가 될 수 있다고 믿습니다.
00:00:07물론 저도 압니다, 매주 거의 새로운 모델이 쏟아져 나온다는 걸요. 하지만 제가 말하는 건 새로운
00:00:13대규모 언어 모델이 아닙니다. 대신 'TypeSafe AI'의 'Jeff'에 대해 이야기하려고 합니다. 이게 무슨
00:00:19개인 비서나 그록봇, 혹은 jeff처럼 들린다는 걸 압니다. 타입세이프 AI라니 마치
00:00:25타입스크립트 라이브러리 같지만 전혀 그런 게 아닙니다. 새로운 종류의 AI 모델입니다. 이건
00:00:31대규모 언어 모델이 아니지만 꽤 똑똑한 모델인 것 같으며, 대규모 언어 모델이
00:00:39어느 정도만 제공하던 기능을 우리에게 선사합니다. 본론으로 들어가기 전에, 참고로 이 영상은
00:00:44협찬을 받거나 한 게 아닙니다. 이들의 웹사이트인 typesafe.ai에 방문하시면
00:00:51대기자 명단에 등록할 수 있습니다. 저도 독일 시간으로 어제저녁에 다른 분들처럼 신청했고,
00:00:56오늘 아침에 액세스 권한을 얻었습니다. 그래서 이렇게 영상을 찍고 있죠. 도대체 이게 뭘까요? 핵심 아이디어는 텍스트를
00:01:04생성하는 모델이 아니라 텍스트를 이해하는 모델이라는 점입니다. 원하는 텍스트를 입력하고 몇 가지
00:01:12선택지를 제공하는 식이죠. 예를 들어 기본적인 예시를 보여드릴게요. 몇 가지 샘플 텍스트가 있는데, 이메일이나
00:01:21고객들의 채팅 메시지일 수 있습니다. 웹사이트에 채팅 기능이 있어서 고객들이 메시지를 보낸다고 해보죠.
00:01:28바로 이런 메시지들이 될 수 있습니다. 그리고 이 메시지들을 어떻게 처리할지 결정해야 합니다. 물론
00:01:34대규모 언어 모델을 통과시킬 수도 있겠지만, 여기엔 몇 가지 문제가 있습니다. 첫째는 프롬프트 인젝션 문제이고,
00:01:40둘째는 꽤 비쌀 수 있다는 점입니다. 비교적 똑똑한 모델이 필요하기 때문에
00:01:48토큰을 많이 소모하게 됩니다. 모든 도구 설명을 해당 모델에 전달해야 하고,
00:01:54추가 정보와 고객 메시지도 모델에 전달해야 하니까요.
00:02:00그러면서 토큰을 낭비하게 됩니다. 셋째는 비교적 느리다는 것입니다. 최첨단 대규모 언어
00:02:06모델들은 응답하는 데 시간이 좀 걸립니다. 반면 Jeff는 정말 초고속입니다. 밀리초 단위로
00:02:12작동하죠. 여러분의 기기에서 실행되는 건 아니고 여전히 클라우드에 있지만 매우 빠릅니다. 아이디어는 다음과 같습니다.
00:02:18Jeff에게 메시지를 전달하는 것입니다. 여기 'Ask Jeff'는 제가 이 클라이언트를 사용해 AI와 대화하는 것일 뿐입니다.
00:02:26그렇게 메시지를 전달하고, 더 복잡한 구조화된 데이터도 실제로 입력할 수 있습니다. 꼭
00:02:32문자열(string)일 필요는 없습니다. 그런 다음 그 메시지로 무엇을 해야 할지에 대한 정보를 제공합니다.
00:02:39정확히 말하자면 질문을 주는 것이죠. 질문에는 세 가지 유형이 있습니다.
00:02:46선택(choices), 점수 매기기(scoring), 그리고 예/아니오(now)가 있습니다. 선택(choices)은 말 그대로입니다. 몇 가지 옵션을 주면
00:02:53AI 모델이 어떤 선택지와 옵션이 옳은지에 대한 신뢰도를 돌려줍니다.
00:02:58점수 매기기는 모델이 점수를 매기게 하는 것으로, 몇 가지
00:03:02등급을 부여하면 그 등급을 바탕으로 점수를 생성합니다. 'now'는 예 또는 아니오 질문입니다.
00:03:10이 기본적인 예시에서, 사용자 메시지를 받아 모델에 보낸다고 해봅시다.
00:03:15여기서 첫 번째 질문은 “어느 팀이 이 메시지를 처리해야 하는가?”이며, 세 가지 옵션을 줍니다.
00:03:21이것은 완전히 여러분에게 달렸습니다. 필요한 것을 자유롭게 정의할 수 있죠. 옵션을
00:03:26더 추가할 수도 있습니다. 현재는 최대 10개까지 가능한 것으로 압니다. 각 옵션이 무엇에 관한 것인지 설명합니다.
00:03:33예를 들어 청구 팀(billing team)이 있고, 이 팀은 요금 청구, 인보이스 등을 처리한다고 명시합니다.
00:03:38이 데모에는 다른 팀들도 몇 개 더 있습니다. 고객 메시지를 바탕으로 Jeff에게 보내는 첫 번째 질문은 바로 이런 식입니다.
00:03:44하지만 이게 전부가 아닙니다. 한 번에 여러 질문을 던질 수 있으니까요.
00:03:49여러 선택지를 가질 수도 있지만, 여기서는 각 카테고리별로 하나씩 보여드리고 싶습니다. 그래서 선택(choice) 질문 하나와,
00:03:53“이 메시지가 긴급성을 나타내는가?”를 묻는 'now' 질문 하나를 준비했습니다. 세 가지 메시지 모두 이 과정을 거치게 하여
00:04:00각 메시지에 긴급성이 있는지 확인할 수 있습니다. 그리고 세 번째로 보내는 질문 유형은
00:04:07고객이 얼마나 좌절감을 느끼고 있는지 알고 싶을 때 쓰는 점수 매기기 질문입니다.
00:04:11이를 이렇게 실행해 보면, 코드가 실행되는 것을 볼 수 있습니다. 정말 빠릅니다.
00:04:20클라우드의 AI 모델로 전송되어 처리되었지만, 대규모 언어 모델은
00:04:25관여하지 않았습니다. 대신 첫 번째 고객 메시지의 경우 기술 팀(technical team)이
00:04:30처리해야 한다는 선택 결과가 나왔음을 볼 수 있죠. Jeff가 자동으로 생성한 신뢰도 수준과 함께 말입니다.
00:04:36긴급한지 여부를 묻는 예/아니오 질문에 대해서는, 여기서 긴급하다는 점에 대해 거의 1에 가까운
00:04:42높은 신뢰도 점수가 나왔고 좌절감도 꽤 높다는 것을 알 수 있습니다. 두 번째
00:04:49질문은, 요금이 이중 청구되었으니 즉시 환불을 원한다는 내용이므로 청구 팀으로
00:04:56전달되어야 합니다. Jeff는 꽤 긴급하다고 판단했고 좌절감도 다소 높은 편이었습니다. 그리고
00:05:03세 번째 질문은 영업 팀에 관한 것으로, 긴급하지 않고 좌절감도 없습니다. 자,
00:05:09보시다시피, 혹은 적어도 제가 보기에는 이것이 꽤 유용할 수 있습니다. 대규모 언어 모델로도 이걸 구축할 수 있지만,
00:05:18그 단점들에 대해 설명해 드렸죠. 이건 빠르고 엄청나게
00:05:24저렴합니다. 가격 이야기를 해야겠네요. 비용은 10억 당 42달러입니다. 백만이 아니라 10억이요, 다른 모든 모델들처럼
00:05:3310억 개의 입력 토큰 기준이며, 출력 토큰은 무료입니다. 출력 토큰 비용은 전혀 들지 않으므로 이것은 다른
00:05:40대규모 언어 모델들보다 훨씬 저렴합니다. Jeff에게 복잡한 질문을 많이 던져도 비용은
00:05:49거의 들지 않습니다. 다시 말씀드리지만 출력 토큰은 비용이 전혀 들지 않고, 엄청나게 빠르며, 이러한 의사결정을 위해
00:05:56맞춤 제작되었습니다. 생각해보면, 그리고 제가 이 부분에 꽤 흥분한 이유가 바로 그것인데, 생각해보면
00:06:02우리가 구축하는 많은 것들이 결국 의사결정으로 귀결됩니다. 여러분이 구축하는 모든 AI 에이전트는
00:06:08어떤 도구를 언제 호출할지와 같은 의사결정으로 가득 차 있죠. 자, 앞서 언급했듯이 물론 이를
00:06:15대규모 언어 모델과 결합할 수도 있습니다. 여기 또 다른 예시가 있는데, 어시스턴트를 만들면서
00:06:22매우 간단한 도구 호출 몇 개를 넣어두었습니다. 이를테면 홈 어시스턴트 같은 곳에서 특정 방의
00:06:29불을 끄거나 켤 수 있는 그런 더미 함수(dummy function), 더미 도구가 있는 식이죠.
00:06:35하지만 특정 작업에는 대규모 언어 모델을 사용하고 싶을 수도 있습니다. 왜냐하면 다시 말하지만 Jeff는
00:06:42텍스트를 초안 작성할 수는 없기 때문입니다. 따라서 고객을 위한 답장 이메일이나 그와 유사한 텍스트를 생성해야 할 때는 언제나
00:06:48대규모 언어 모델을 데려와야 합니다. 여기서 저는 대규모 언어 모델을 사용하고 있으며,
00:06:54Vercel의 AI SDK를 통해 중간 수준의 사고 능력을 가진 gpt 5.6 테라를 사용하고 있습니다.
00:07:02비교적 저렴하죠. 그리고 어떤 도구를 사용할지 선택하는 것은 Jeff에게 맡깁니다. 대규모 언어 모델이 아니라
00:07:10Jeff가 하는 겁니다. 그 후 해당 도구들을 실행하는데, 어떤 도구에서는 대규모 언어 모델이 사용되고
00:07:15어떤 도구에서는 사용되지 않습니다. 바로 이 점이 정말 놀라운 부분입니다. 우리는 끊임없이
00:07:21의사결정을 내려야 하고, 무언가의 점수를 매기거나 예/아니오 질문에 답해야 하는 시스템을 구축하고 있는데,
00:07:26지금까지는 그런 용도로 대규모 언어 모델을 종종 사용해 왔습니다. 그것들도
00:07:31좋고 오해는 하지 마세요. 분명히 여전히 가지고 있는 한 가지 장점은 예를 들어 컨텍스트 창입니다.
00:07:36문서에 따르면 질문에 입력할 수 있는 텍스트 예산은 약 32,000 토큰 정도라고 합니다.
00:07:45따라서 문서에는 이와 같은 제한 사항이 있습니다. 또한 현재 최첨단 모델의
00:07:50불완전함(jaggedness)에 대한 전체 아티클도 있는데, 예를 들어 수학, 숫자, 날짜 및 시간
00:07:56비교 같은 것에는 능숙하지 않다는 내용입니다. 따라서 부족한 면모도 존재합니다. 하지만 한편으로는 다른 AI 모델들처럼
00:08:05미래에는 더 나아지고 문제들도 해결될 것으로 기대합니다. 그 외에도 다시 말하지만 이건
00:08:12양자택일의 문제가 아니라 추가적인 요소입니다. 대규모 언어 모델 외에 멋진 추가 도구가 될 수 있죠. 만약
00:08:18동일하게 느리고 비싸다면 굳이 이점을 느끼지 못하겠지만, 그렇지 않습니다. 제공하는
00:08:24장점들을 보면 정말 유망해 보입니다. 이제 장기 테스트를 거치고, 프로덕션 환경에서 확인하며,
00:08:32더 복잡한 사용 사례에서 검증해 보아야 오류에 얼마나 취약한지, 프롬프트 인젝션이나
00:08:40그런 문제에 취약한지 평가할 수 있을 것입니다. 하지만
00:08:47몇 달 전에 있었던 서브쿼드라틱(subquadratic) 이슈 같은 것과는 달리, 이건 직접 사용하고 테스트할 수 있는 것입니다.
00:08:53바로 지금 사용할 수 있죠. 물론 액세스 권한을 얻는다면 말이지만요.
00:08:57대기자 명단에 등록하면 저의 경우 불과 몇 시간 만에 되었고, 정말
00:09:03유용해 보입니다. Jeff를 전통적인 프로그래밍, 즉 일반적인 결정론적 코드 및
00:09:12대규모 언어 모델과 결합하여 정말 훌륭한 프로그램과 시스템을 구축할 수 있다고 생각합니다. 이 모든 것을 활용해 멋진 것들을
00:09:20만들어낼 수 있죠. 자, 그럼 Jeff가 무엇인지에 대한 좋은 첫인상과 개요가 되었길 바랍니다. 직접
00:09:27써보고 싶다면 대기자 명단에 등록하시고 뛰어들어 직접 만져보세요.
커뮤니티 글
아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!
이 영상에 대해 글쓰기