스크립트
00:00:00올여름 가장 많은 스타를 받은 새로운 저장소, 6주 만에 8만 3천 개 이상의 스타를 기록했습니다.
00:00:05구글, 마이크로소프트, 오픈AI가 아닙니다. 바로 퓨디파이(PewDiePie)가 만든 거죠. 네, 바로 그 퓨디파이요.
00:00:12이슈 트래커를 열어보면, 가장 추천을 많이 받은 이슈에 이렇게 적혀 있습니다.
00:00:17이건 진짜 순수한 농담이라고요. 그리고 다른 댓글에는 제 컴퓨터에서 이걸 실행하는 것조차 겁난다고 적혀 있죠.
00:00:22그래서 제가 직접 해보겠습니다. 대체 이게 뭔지 함께 확인해 보죠.
00:00:30이 프로젝트의 이름은 오디세우스(Odysseus)입니다. 이걸 단순한 채팅 UI라고 부르는 건 과소평가하는 겁니다. 셀프 호스팅되는
00:00:38AI 워크스페이스인데, 제가 다 읽기에는 너무 길 정도로 온갖 기능들을 다 담고 있습니다.
00:00:44그러면서도 세션 간 데이터가 유지되며, 여러분의 컴퓨터에서 하나의 앱으로 실행됩니다.
00:00:50GPL 라이선스에 클라우드 티어도 없고 구독료도 없습니다. 모든 채팅과 이메일은 로컬에 있는 일반 폴더에 저장되어
00:00:56직접 백업할 수 있는 로컬 데이터 폴더에 저장됩니다. 그리고 이에 얽힌 비하인드가 모든 걸 말해줍니다. 작년에 퓨디파이는
00:01:02로컬 AI의 세계에 빠져들었습니다. 아마 우리 대부분보다 훨씬 깊이 말이죠. 그는 개조된 48기가바이트
00:01:09RTX 4090 10대로 구성된 GPU 장비, 700억 파라미터 모델, 그리고 챗 OS라는 홈메이드 UI를 만들었습니다. 이 UI에는 봇들로 구성된
00:01:18평의회가 있어서 답변에 대해 투표를 하다가 급기야 그를 상대로 결탁하기까지 했죠. 오디세우스는 그 시스템을 일반 사용자들을 위해
00:01:24다시 만든 것입니다. 5월 31일에 출시되었고 48시간 만에 3만 개의 스타를 받았죠. 이게 정말 뭔지 살펴보겠습니다.
00:01:30작업 속도를 높여주는 코딩 도구를 좋아하신다면 구독해 주세요. 저희는 항상 새로운 영상을 올리고 있습니다.
00:01:35한번 실행해 보죠. 맥에서는 정말 스크립트 하나로 복사해서 도커를 실행하면 모든 게 설정되거든요.
00:01:41세팅됩니다. grep 명령어를 쓰면 터미널에서 임시 비밀번호를 얻을 수 있고, 7000번 포트로 실행됩니다.
00:01:48admin과 그 비밀번호로 로그인할 수 있습니다. 이제 고정폭 폰트의 다크 모드 터미널 스타일 인터페이스를 보게 됩니다.
00:01:52XDA에서는 기괴하게 훌륭하다고 평한 반면, 해커뉴스 댓글창에서는 끔찍하다고 평가했습니다.
00:01:58솔직히 이 상반된 반응이 이 프로젝트의 모든 것을 말해줍니다.
00:02:03첫 번째 코스는 쿡북입니다. 맥의 칩과 통합 메모리를 스캔해서 여기서 실제로 실행할 수 있는 로컬 모델이
00:02:09무엇인지 알려준 뒤, Llama CPP를 통해 완전한 메탈 가속으로 다운로드하고 구동해 줍니다.
00:02:16그 화면 하나로 설정하느라 1시간 동안 헤매는 시간을 아껴줍니다. 창들을 드래그해서 움직일 수도 있는데,
00:02:22이거 멋지네요. 하지만 그다음으로 흥미로운 기능은 모델 비교입니다. 하나의 프롬프트로
00:02:27세 개의 로컬 모델을 나란히 놓고 블라인드 테스트를 하는 거죠. 프롬프트를 입력하고 완료되면,
00:02:34어떤 모델이 작성했는지 알려주기 전에 승자를 선택할 수 있습니다. 이게 바로 봇 평의회입니다. 꽤 멋지죠.
00:02:40이 모든 것은 컨테이너용 패스트API 앱, 오디세우스, 벡터 메모리를 위한 크로마DB,
00:02:47번들로 제공되는 Seer XNG 검색 엔진, 그리고 푸시 알림을 위한 Nifty로 구축되어 있습니다. 이 패키지 덕분에
00:02:54잠시 후에 이야기할 딥 리서치가 유료 API 없이 작동하는 것입니다. 자체 Seer XNG로 검색하고,
00:03:00소스를 읽은 뒤 출처가 포함된 보고서를 모두 로컬에서 스트리밍해 줍니다. 메모리 기능도 진짜입니다. 오늘 사실을 알려주고
00:03:06내일 새로운 세션에서 물어보면 기억해 냅니다. 이메일 클라이언트는 IMAP을 통해 실제 받은편지함을 정리하고
00:03:11답변을 초안해 줍니다. 당연한 이유로 제 이메일을 여기에 동기화하고 싶진 않았지만, 기능은 내장되어 있습니다.
00:03:17일반 캘린더처럼 일정을 추가할 수 있는 통합 캘린더도 있습니다. 이제 LLM이 실제로
00:03:22이 캘린더를 읽을 수 있죠. 다시 돌아와서, 여기서 딥 리서치를 실행할 수도 있습니다.
00:03:26질문을 던지면 다단계 에이전트 루프가 실행됩니다. 제가 비유하자면, 인박스가 결합된
00:03:33셀프 호스팅 클라우드 프로젝트라고 할 수 있겠네요. 자, 공정하게 짚고 넘어가야 할 점은 에이전트 루프,
00:03:39쿡북, 리서치 파이프라인 등이 적절한 출처 표기와 함께 OpenCode, LLM Fit,
00:03:46그리고 알리바바의 딥 리서치에서 차용되었다는 점입니다. 이건 뛰어난 조합의 결과물이지 바닥부터 새로 발명된 것은 아니며,
00:03:52솔직히 그럴 필요도 없습니다. 이는 해커뉴스가 정확히 던졌던 질문으로 이어집니다.
00:03:58그냥 OpenWebUI를 쓰면 안 되는 걸까요? 완전히 맞는 말입니다. OpenWebUI와 LibreChat은 실제
00:04:05버전 출시를 거치며 수년간 성숙해졌죠. 오디세우스의 강점은 방대함에 있습니다. 이메일, 캘린더, 예약된 에이전트,
00:04:11푸시 알림, 하드웨어 인식 모델 관리자를 하나의 박스에 담아 제공하는 곳은 다른 데 없으니까요. 라이선스 상의 까다로운 점도 있습니다.
00:04:17OpenWebUI의 라이선스는 브랜딩 제거를 허용하지 않는데, 해커뉴스에서 지적했듯 이는 완전한 오픈소스가 아닙니다.
00:04:23오디세우스는 순수한 AGPL입니다. 하지만 채팅과 RAG만 필요하다면
00:04:30그냥 다른 도구를 쓰시면 됩니다. 반박의 여지가 없죠. 자, 이제 여러분이 꼭 들어야 할 부분입니다.
00:04:34제가 이 프로젝트를 맹목적으로 추앙하려는 건 아니니까요. 최상단 이슈에 도대체 여기서 무슨 일이 벌어지고 있는 거냐고 적혀 있습니다.
00:04:41LLM이 대충 쓴 코드 800개가 병합되었고, 3만 줄짜리 CSS 파일, 무작위 인라인 자바스크립트가 있다고 설명합니다.
00:04:49지금도 900개에 가까운 PR이 열려 있으며, 상당수는 AI가 작성했고 나머지는 팬들이 올린 것입니다.
00:04:56태그된 릴리스가 단 하나도 없습니다. 제로죠. 여러분은 계속 움직이는 개발 브랜치, 버전이 고정되지 않은 의존성을 실행하고 있는 겁니다.
00:05:03오늘 설치하면 내일은 완전히 다른 앱이 되어 있을 수도 있죠. 스타는 부분적으로는 당연히 팬덤 덕분입니다.
00:05:07그 사람의 구독자가 1억 1천만 명이니까요. 하지만 스타가 코드 리뷰를 대신해주진 않습니다. 그리고 프로젝트 자체의
00:05:14위협 모델을 읽어보세요. 이 에이전트는 셸 접근 권한, 파일 접근 권한, 그리고 이메일 발송 능력을 가지고 있습니다. 그들의 말마따나
00:05:21관리자 콘솔처럼 다뤄야 합니다. 절대 인터넷에 노출하지 마세요. 도커에서의 맥 전용 제약 사항으로,
00:05:27추론은 오직 CPU로만 실행됩니다. 도커와 맥OS가 메탈 GPU에 직접 접근할 수 없기 때문이죠. 그래서
00:05:32저의 평가는 두 가지입니다. 로컬 놀이터로서는 멋집니다. 하지만 프로덕션 의존성으로는 절대 안 됩니다.
00:05:39이 둘 다에 해당해도 괜찮습니다. 하지만 이건 그냥 대충 만든 쓰레기라고 말하는 사람들이 놓치고 있는 점이 있습니다. 300명이 넘는
00:05:45사람들이 여기에 기여했습니다. 커뮤니티가 코드 소유자 파일을 강제로 도입하고 100개 이상의 댓글이 달린
00:05:52아키텍처 전면 개편 제안서를 작성했습니다. 그리고 이틀 전에 이 저장소는 자체 깃허브 조직으로 이전했습니다.
00:05:59이 프로젝트는 지저분하고, 복잡하고, 고르지 못하지만, 최근에 본 어떤 프로젝트보다도 살아 움직이고 있습니다. 그래서
00:06:05제 결론은 이렇습니다. 코드가 중요한 게 아닙니다. 코드는 솔직히 그 저장소에서 가장 중요하지 않은 부분입니다.
00:06:09중요한 건 1억 1천만 명의 사람들이 신뢰한다고 말하는 사람이 자기 컴퓨터에서 직접 AI를 돌리고
00:06:15데이터를 소유할 수 있다고 말하는 것을 지켜보았다는 사실입니다. AI 셀프 호스팅은 주류로 자리 잡고 있지만,
00:06:20그렇다고 해서 우리가 그것을 무조건 신뢰해야 한다는 뜻은 아닙니다. 이런 코딩 팁과 트릭이 마음에 드신다면
00:06:24BetterStack 채널을 구독해 주세요. 다음 영상에서 뵙겠습니다.