Karpathy의 Obsidian RAG + Claude Code = 치트키 수준의 조합

CChase AI
Computing/SoftwareSmall Business/StartupsManagementInternet Technology

Transcript

00:00:00안드레이 카파시가 방금 우리에게
00:00:02그의 개인용 Obsidian RAG 시스템 사용법을 알려주었습니다.
00:00:06제가 RAG에 따옴표를 친 이유는
00:00:07이 Obsidian 기반 지식 베이스에는
00:00:10벡터 데이터베이스도, 임베딩도,
00:00:12복잡한 검색 프로세스도 없기 때문입니다.
00:00:15하지만 이 시스템은 훨씬 더 복잡한
00:00:17RAG 구조가 해결해 준다고 주장하는 문제와 똑같은 문제를 해결합니다.
00:00:21그것은 바로 대규모 언어 모델이
00:00:23방대한 양의 문서를 처리하고 질문에 답하며
00:00:27정확한 정보를 수집할 수 있게 하는 것이죠.
00:00:30이 Obsidian 기반 시스템의 가장 큰 장점은
00:00:32매우 가볍고 사실상 무료라는 점입니다.
00:00:36그래서 1인 운영자나 소규모 팀에게는
00:00:38완벽한 절충안이 될 수 있습니다.
00:00:41그래서 오늘은 카파시의 Obsidian 지식 시스템이
00:00:42어떻게 작동하는지, 직접 설정하는 방법은 무엇인지,
00:00:45그리고 기존 RAG 시스템과는 어떻게 다른지 보여드려서
00:00:46여러분에게 적합한 옵션인지 알 수 있도록 해드리겠습니다.
00:00:50이 Obsidian 기반 지식 시스템을 만드는 과정은
00:00:52어제 안드레이 카파시가 트위터에 올린
00:00:54매우 상세한 게시물에 설명되어 있습니다.
00:00:58이 게시물의 핵심은 우리가 Obsidian을 통해
00:01:02본질적으로 LightRAG나 RAGAnything,
00:01:04혹은 다른 GraphRAG 시스템과 동일하게 작동하는
00:01:05LLM 지식 베이스를 만들 수 있다는 점입니다.
00:01:07그리고 파일 시스템의 구조와
00:01:09데이터 입력 방식을 영리하게 구성함으로써
00:01:12아주 간단한 방식으로 이를 구현할 수 있습니다.
00:01:17결과적으로 저는 상당히 많은 양의
00:01:20데이터와 문서를 Obsidian 보관소에 넣고
00:01:23Claude Code를 사용하여 질문을 하거나
00:01:25서로 다른 정보들 사이의 연결 고리를 찾을 수 있습니다.
00:01:28즉, 기존 RAG 시스템에서 하던 것과
00:01:32정확히 똑같은 일을 할 수 있으면서도,
00:01:35부하가 전혀 없고 설정은 훨씬 간단합니다.
00:01:36안드레이가 설명한 설정 방식은 대략 이렇습니다.
00:01:38먼저 데이터 수집 단계가 있습니다.
00:01:41인터넷이나 다른 곳에서 기사, 논문,
00:01:43저장소 등을 가져와서
00:01:46Obsidian 보관소 내의 'raw' 디렉토리에 넣습니다.
00:01:49여기는 위키로 변환되기 전의
00:01:51일종의 준비 영역입니다.
00:01:52이 상호작용에서 인간인 우리는
00:01:53Obsidian을 통해 이 모든 과정을 볼 수 있습니다.
00:01:57Obsidian은 실질적으로 우리의 프런트엔드 역할을 합니다.
00:02:00여기서 모든 문서가 어떻게 배치되어 있는지 확인하고
00:02:02모든 위키를 읽을 수 있습니다.
00:02:03따라서 일반적인 RAG 시스템처럼
00:02:05블랙박스 안에 추상화되어 숨겨져 있지 않습니다.” LightRAG 같은
00:02:07GraphRAG 설정에서도 내부로 들어가서
00:02:10모든 것을 실제로 확인하기는 다소 어렵습니다.
00:02:13물론 할 수는 있지만, 보기에는 멋져도
00:02:15그리 효율적이지는 않습니다.
00:02:17그다음 단계는 Claude Code 같은 도구를 통해
00:02:20질의응답을 진행하는 것입니다.
00:02:21안드레이가 여기서 언급했듯이,
00:02:25그는 처음에 RAG 같은 기능이 필요할 것이라 예상했지만
00:02:29LLM이 인덱스 파일을 자동 관리하고
00:02:31읽은 모든 문서의 요약본을 만드는 데 꽤 능숙했습니다.
00:02:33우리도 제가 제공해 드릴 간단한
00:02:35Claude.md 파일을 사용하여 똑같이 할 수 있습니다.
00:02:37그 Claude.md 파일과 여러 프롬프트가 포함된
00:02:38작성된 가이드는 저의 무료 Chase AI 커뮤니티에서
00:02:40찾으실 수 있습니다.
00:02:42해당 링크는 이 영상의 설명란에
00:02:43남겨 두겠습니다.
00:02:45Chase AI 이야기가 나온 김에, 다들 예상하셨겠지만
00:02:47제 Claude Code 마스터클래스 홍보를 잠깐 하겠습니다.
00:02:49불과 몇 주 전에 출시했는데,
00:02:52특히 비개발자 분들이 AI 개발자로 거듭나기에
00:02:53이보다 더 좋은 곳은 없습니다.
00:02:55고정 댓글의 링크에서 확인하실 수 있으니,
00:02:56이 도구를 제대로 배우고 싶다면
00:02:57꼭 한번 살펴보시기 바랍니다.
00:03:00이제 Obsidian 시스템을 직접 설정하는
00:03:01구체적인 방법으로 들어가기 전에,
00:03:03실제 파일 구조를 먼저 살펴보겠습니다.
00:03:06데이터가 어떻게 보관소로 들어와서
00:03:08위키로 변환되는지 이해하는 것이 중요하기 때문입니다.
00:03:09Obsidian 보관소는 모든 것이 보관되는 장소입니다.
00:03:12사용해 본 적이 없으시더라도, Obsidian을 다운로드하면
00:03:15특정 폴더를 '보관소(Vault)'로 지정하게 됩니다.
00:03:18제 경우에는 말 그대로 'the vault'라고 이름을 지었습니다.
00:03:19Obsidian의 모든 것은 그 안에 저장됩니다.
00:03:22보관소의 하위 폴더로
00:03:24'raw' 폴더를 만들 것입니다.
00:03:28'raw' 폴더는 모든 연구 자료가 담기는 곳입니다.
00:03:30위키에 수동으로 포함하고 싶은 모든 것이 여기에 들어갑니다.
00:03:32기본적으로 스테이징 폴더이며,
00:03:34모든 가공되지 않은 데이터가 저장되는 곳입니다.
00:03:36마크다운 파일일 수도 있고,
00:03:39PDF일 수도 있습니다.
00:03:41그리고 Obsidian Clipper를 사용하여
00:03:42어떤 웹페이지든 마크다운 파일로 변환해
00:03:45'raw' 폴더로 자동 전송하는 법을 보여드리겠습니다.
00:03:48또한 'Wiki' 폴더라는
00:03:50또 다른 하위 폴더를 만들 것입니다.
00:03:52LLM, 즉 Claude Code가 우리를 위해 해줄 일은
00:03:54사용자의 요청에 따라, 혹은 자동화된 기능을 통해
00:03:58'raw' 폴더를 가리키며 이렇게 말하는 것입니다.
00:04:01"네가 수집해 온 정보들을 바탕으로
00:04:02어떤 주제에 대한 위키를 만들어 줘."
00:04:05그러면 그에 대한 위키가 생성됩니다.
00:04:06보시다시피 여기 세 가지 위키가 있습니다.
00:04:07AI 에이전트, RAG 시스템,
00:04:10그리고 콘텐츠 제작에 관한 것입니다.
00:04:14이제 Wiki 폴더와 이 하위 위키 폴더들 사이에는
00:04:16마스터 인덱스 마크다운 파일이 있습니다.
00:04:18이것은 기본적으로 생성된
00:04:19모든 위키의 목록일 뿐입니다.
00:04:21왜냐하면 여러분이, 네, 바로 여러분이
00:04:24Claude Code에게 말을 걸 때,
00:04:27저기 있는 Claude Code에게 이렇게 말하겠죠.
00:04:29"AI 에이전트에 대해 더 알고 싶어.
00:04:33내 위키에 대해 몇 가지 질문을 할게."
00:04:35그러면 AI는 무엇을 할까요?
00:04:37우선 여러분이 이미 작업 중일
00:04:41보관소로 이동할 것입니다.
00:04:43그다음 Wiki 폴더로 가서
00:04:45마스터 인덱스 폴더를 확인하며 묻습니다.
00:04:50"어떤 위키들이 생성되어 있지?
00:04:53아, 사용자가 RAG 시스템에 대해 알고 싶어 하는군."
00:04:54그러면 RAG 폴더로 내려갑니다.
00:04:58그리고 각 위키 폴더 자체에도 인덱스 파일이 있어서
00:05:02모든 추가 콘텐츠를 세부적으로 분류해 줍니다.
00:05:04따라서 Obsidian과 이 파일 구조가 제공하는 것은
00:05:06정보가 아주 많아지더라도
00:05:08원하는 정보를 찾을 수 있는 매우 명확한 경로입니다.
00:05:12이는 Claude Code에게 큰 도움이 됩니다.
00:05:13데이터를 찾는 데 있어서
00:05:15많은 어려움을 겪지 않을 것이기 때문입니다.
00:05:17파일 구조를 확인하기 위해
00:05:18수많은 도구 호출을 실행할 필요도 없습니다.
00:05:21또한 어디로 가야 할지가 명확하므로 여러분에게도 도움이 됩니다.
00:05:23예를 들어, 왼쪽이 제 Obsidian 폴더입니다.
00:05:26지금 Obsidian UI 화면인데요,
00:05:28잠시 후 다운로드 과정을 살펴보겠습니다.
00:05:31어쨌든 위키를 보고 싶다면 어떻게 할까요?
00:05:33그냥 Wiki 폴더로 가면 됩니다.
00:05:35그곳에는 모든 내용을 정리해 둔
00:05:36마스터 인덱스가 있습니다.
00:05:39지금은 세 가지만 들어 있지만,
00:05:413,000개가 있더라도 그리 어렵지 않을 것입니다.
00:05:42거기서 원하는 항목을 클릭하면
00:05:45해당 위키의 인덱스 페이지로
00:05:46연결됩니다.
00:05:48그다음 안의 내용들을 살펴볼 수 있죠.
00:05:50정말 간단합니다.
00:05:52AI에게도 똑같이 간단하기 때문에
00:05:56단순한 마크다운 파일 구조만으로도
00:05:57RAG 시스템과 유사한 기능을 구현할 수 있는 것입니다.
00:05:59이론적인 설명은 이 정도로 하고,
00:06:01이제 직접 설정하는 방법을 알아보겠습니다.
00:06:03무엇보다 먼저 Obsidian을 다운로드해야 합니다.
00:06:04obsidian.md에 접속해서 'Download Now'를 누르고
00:06:06설치 마법사를 따라가세요.
00:06:07완전 무료입니다.
00:06:10그리고 특정 폴더를 보관소로 지정해야 합니다.
00:06:12폴더를 하나 만들고 'the vault'라고 이름 지으세요.
00:06:16저는 그게 편했고, 여러분에게도 잘 맞을 것입니다.
00:06:18보관소를 만든 후에는
00:06:19내부에 파일 구조를 설정해야 합니다.
00:06:21가장 쉬운 방법은 Claude Code를 사용하는 것입니다.
00:06:22보관소 폴더에서 Claude Code를 엽니다.
00:06:24제가 지금 위치한 디렉토리가 바로 거기입니다.
00:06:27그리고 이 파일 구조를 만들라는
00:06:28프롬프트를 입력하면 됩니다.
00:06:31다행히 제가 프롬프트를 미리 만들어 두었습니다.
00:06:33제게도 편하고 여러분에게도 아마 잘 맞을 겁니다.
00:06:37저처럼 이미 Obsidian을
00:06:38오랫동안 사용해 오신 분들이라면,
00:06:40이미 폴더가 많이
00:06:43생성되어 있을 것입니다.
00:06:45그래서 폴더 이름을 'raw'라고 하고 싶지 않을 수도 있죠.
00:06:47다른 이름으로 부르고 싶을 수도 있습니다.
00:06:49핵심은 제가 말씀드린 것처럼
00:06:52위키로 변환되기 전의 정보들이 모이는
00:06:54일종의 보관 혹은 스테이징 영역으로 지정할 폴더가 필요하다는 점입니다.
00:06:57필요에 따라 이름을 조정하세요.
00:06:59그다음으로 할 일은 Claude.md 파일을 만드는 것입니다.
00:07:01개인 비서 프로젝트처럼
00:07:03마크다운 비중이 큰 작업에는 Claude.md가 제격입니다.
00:07:05이 Claude.md 파일은
00:07:08지식 베이스의 규칙뿐만 아니라
00:07:10이를 탐색하는 방법도 정의하고 있습니다.
00:07:13질문을 할 때 토큰을 낭비하지
00:07:14않도록 하기 위해서죠.
00:07:17마찬가지로 바로 사용하실 수 있는
00:07:18전체 Claude.md 템플릿 프롬프트를 준비했습니다.
00:07:20이 Claude.md 파일은 Claude에게
00:07:23이 마크다운 파일들을 어떻게 구조화할지도 알려줍니다.
00:07:25덕분에 위키 링크 형식을 사용하여
00:07:27파일들을 매우 쉽게 탐색할 수 있습니다.
00:07:28이제 어떻게 하면 자료들을
00:07:31'raw' 폴더로 가져올 수 있는지 이야기해 보겠습니다.
00:07:43그래서 다시 한번 말씀드리자면, 질문을 할 때
00:07:44토큰을 낭비하지 않게 됩니다.
00:07:46다시 말씀드리지만, 이 전체 Claude.md 템플릿 프롬프트를
00:07:50여러분이 바로 사용할 수 있게 준비해 두었습니다.
00:07:50이 Claude.md 파일은 Claude에게
00:07:53이러한 마크다운 파일들을 어떻게 구조화할지도 알려줍니다.
00:07:55그래서 이 위키 링크 형식을 사용하면
00:07:58파일들을 탐색하기가 매우 쉽습니다.
00:08:00이제 이 raw 폴더로 정보를
00:08:02어떻게 가져오는지 이야기해 봅시다.
00:08:03애초에 우리 시스템에 데이터를 어떻게 넣을 수 있을까요?
00:08:06음, 아주 쉬운 방법은 바로
00:08:08Obsidian Web Clipper를 사용하는 것입니다.
00:08:10이 도구에 대한 링크는 스쿨에 올려두거나,
00:08:13아니면 obsidian.md/clipper로 직접 접속하셔도 됩니다.
00:08:16이것은 단순한 크롬 확장 프로그램으로,
00:08:18웹페이지를 데이터로, 즉 마크다운 파일로
00:08:22아주 쉽게 변환해 줍니다.
00:08:23하지만 이 Web Clipper의 한 가지 문제점은
00:08:25이미지 처리에 어려움이 있다는 것입니다.
00:08:26이미지를 아예 가져오지 못할 수도 있습니다.
00:08:27링크 형태로는 남아있겠지만요.
00:08:29하지만 저는 Obsidian 안으로 가져온 문서들의
00:08:31이미지들을 직접 보고 싶습니다.
00:08:33그럼 어떻게 해야 할까요?
00:08:34이 문제를 해결하기 위해 Obsidian 커뮤니티 스킬이나
00:08:37커뮤니티 플러그인을 사용할 것입니다.
00:08:39Obsidian의 멋진 점 중 하나는
00:08:41커뮤니티 플러그인들입니다.
00:08:42수천 개의 플러그인이 있죠.
00:08:43만약 Obsidian을 사용 중이시라면,
00:08:46저는 지금 데스크톱 앱 안에 있습니다.
00:08:47아래로 내려가서 이 작은 톱니바퀴 아이콘을 누르고,
00:08:50커뮤니티 플러그인으로 이동합니다.
00:08:52'탐색(Browse)'을 누릅니다.
00:08:54그런 다음 'local images plus'를 검색하세요.
00:08:56그걸 다운로드하고 설치한 뒤 켭니다.
00:09:00활성화되었는지 꼭 확인하세요.
00:09:01커뮤니티 플러그인 탭으로 가서
00:09:03이 작은 탭이 켜져 있는지 확인하여
00:09:05활성화 여부를 알 수 있습니다.
00:09:08이제 Obsidian Web Clipper를 사용하면,
00:09:11여기 확장 프로그램으로 보이는 것처럼,
00:09:13어떤 일이 일어나는지 보실 수 있습니다.
00:09:15즉시 모든 내용을 불러옵니다.
00:09:17그리고 'Add to Obsidian'을 누르면,
00:09:19이미지를 포함한 기사 전체를 볼 수 있습니다.
00:09:21여기서 Web Clipper 안에
00:09:24한 가지 설정해줘야 할 것이 있는데,
00:09:25내용을 자동으로 raw 폴더로
00:09:26가져오도록 만드는 것입니다.
00:09:29매번 수동으로 옮기고 싶지는 않으니까요.
00:09:30Web Clipper의 옵션으로 이동하면 됩니다.
00:09:34방금 마우스 오른쪽 버튼으로 클릭했습니다.
00:09:35왼쪽의 'Default'라고 된 부분에서
00:09:38저는 저만의 새 템플릿을 만들었지만,
00:09:39원하신다면 기본(Default)을 그대로 쓰셔도 됩니다.
00:09:42여기 'Location'과 'Note location'이라고 적힌 부분에서
00:09:47그 위치를 'clippings'에서 'raw'로 변경해야 합니다.
00:09:52그러면 Web Clipper를 사용할 때
00:09:54자동으로 raw 폴더로 들어가게 됩니다.
00:09:56이제 Obsidian Web Clipper 확장 프로그램과
00:09:59이미지 커뮤니티 플러그인을 활용하면,
00:10:01인터넷상의 어떤 웹페이지라도
00:10:04우리 위키에 사용될 마크다운 파일로 바꿀 수 있습니다.
00:10:08하지만 이건 하나의 데이터 통로일 뿐입니다.
00:10:10수동으로 하는 방식이죠.
00:10:11Claude Code가 힘든 작업을 대신하게 할 수도 있습니다.
00:10:14예를 들어 제가 Claude Code 스킬에 대한
00:10:16위키를 만들려고 한다고 해봅시다.
00:10:17그래서 Claude Code에게 말했습니다.
00:10:18"Claude Code 스킬에 대한 위키를 만들어보자."
00:10:20"이미 raw 폴더에 Web Clipper로 가져온
00:10:23정보들을 좀 넣어뒀어."
00:10:25"네가 직접 조사해서 관련 raw 마크다운 파일들을 가져와서
00:10:27그 위키를 생성해줘."
00:10:29그러면 어떻게 될까요?
00:10:30인터넷에 접속해 표준 웹 검색을 사용하고,
00:10:32Claude Code 스킬에 대한
00:10:36그만의 위키를 만들 것입니다.
00:10:37보시다시피 이 raw 폴더와
00:10:40이 전체 raw 파이프라인은 여러분을 위한 것입니다.
00:10:42주로 직접 정보를 넣고 싶을 때 사용하죠.
00:10:44물론 Claude Code에게 시킬 수도 있지만,
00:10:46Claude Code는 조사를 수행하고
00:10:49무엇이 관련 있는지 스스로 판단해서
00:10:50직접 위키를 생성할 수 있을 만큼 충분히 똑똑합니다.
00:10:53이 raw 폴더는 정말로 인간인 여러분이
00:10:55어느 정도의 조직화를 갖추기 위한 용도입니다.
00:10:58그리고 여기 Claude Code가 가져온 결과가 있습니다.
00:10:59Claude Code 스킬 위키를 생성했네요.
00:11:02마스터 인덱스에서 참조된 것을 볼 수 있습니다.
00:11:05그걸 클릭하면,
00:11:07Claude Code 스킬 인덱스로 연결됩니다.
00:11:10현재 네 개의 기사가 있군요.
00:11:12여기 스킬 개요 기사가 있습니다.
00:11:15웹사이트로 연결되기도 하고
00:11:18우리 Obsidian 보관함 내의 다른 기사로도 연결됩니다.
00:11:21'스킬 생태계'를 클릭하면 더 많은 내용이 나옵니다.
00:11:25'주요 스킬'을 클릭하면... 이런 식이죠.
00:11:27기사 간의 경로와 관계가 매우 명확합니다.
00:11:30그것이 무엇을 의미하느냐 하면,
00:11:32Claude Code에게 이러한 주제들에 대해 질문했을 때
00:11:34답변하는 과정이 매우 쉽고
00:11:35비용(토큰)도 저렴해진다는 뜻입니다.
00:11:39그러면 이제 당연한 질문이 생깁니다.
00:11:41우리가 굳이 RAG가 필요할까요?
00:11:43이런 Light RAG 설정을 보면 말이죠.
00:11:45제 지난 몇 개의 Light RAG와 RAG 영상을 보셨다면,
00:11:48Obsidian 설정이 얼마나 간단한지 보고 아마 이럴 겁니다.
00:11:51"음, 왜 굳이 이렇게
00:11:52복잡한 설정을 써야 하지?"
00:11:55라고 말이죠.
00:11:56사실 여러분이 1인 개발자이거나,
00:11:59수천 개의 문서를 다루지 않는
00:12:021인 운영자 혹은 작은 팀이라면,
00:12:04Obsidian이 더 합리적인 선택일 것입니다.
00:12:08가볍고, 굳이 RAG가 필요 없거든요.
00:12:11이런 대형 언어 모델들과
00:12:12Claude Code 같은 도구들은 여러분의 사용 사례에
00:12:16충분히 훌륭합니다.
00:12:17Obsidian RAG와 진짜 RAG의 차이점에 대해
00:12:18시시콜콜 따져볼 수도 있겠지만,
00:12:21진실은 핵심이 '규모'에 있다는 것입니다.
00:12:24수백만 개의 문서로 확장하려느냐 아니냐의 문제죠.
00:12:27특정 규모에 도달하면,
00:12:29제대로 된 RAG 시스템을 쓰는 것이
00:12:32더 저렴하고 빠를 것이기 때문입니다.
00:12:33Claude Code가 여러분이 만든 마크다운 파일 네트워크를
00:12:38아무리 잘 탐색한다고 하더라도 말이죠.
00:12:40하지만 이 질문에 지금 당장
00:12:42정확한 답을 낼 필요는 없습니다.
00:12:44일단 Obsidian 같은 걸로 시작하지 않을 이유가 있나요?
00:12:47그러다 규모가 이 방식이
00:12:48처리할 수 있는 범위를 훨씬 넘어서면,
00:12:51그때 RAG로 옮겨가면 됩니다.
00:12:53사람들이 이 질문에 답하느라 너무 집착하는 것 같은데,
00:12:55그냥 해보세요. 그냥 실험해 보시라는 겁니다.
00:12:58Obsidian 같은 RAG 시스템을 사용하는 데는
00:13:01돈이 들지 않습니다.
00:13:03안 되면 어쩔 수 없는 거죠. 괜찮습니다.
00:13:05그때 가서 Light RAG를 쓰면 되니까요.
00:13:06사람들은 댓글에서 늘 그렇듯
00:13:09이걸로 논쟁하고 싶어 하겠지만, 그냥 해보세요.
00:13:11진짜 RAG 시스템으로 넘어가야 할 시점은
00:13:14어느 순간 아주 명확해질 것입니다.
00:13:16하지만 이 방식의 좋은 점은, 다시 말하지만,
00:13:19대부분의 사람에게 진짜 RAG 시스템은 필요 없다는 겁니다.
00:13:21정말로 필요 없어요, 그렇죠?
00:13:22소규모 비즈니스 팀 상황이라 하더라도 말이죠.
00:13:24그래서 Obsidian 지식 베이스처럼
00:13:27제대로 조율된 시스템을 갖추는 것은
00:13:30대다수 사람에게 큰 도움이 될 것이라고 생각합니다.
00:13:33이번 분석이 여러분께 유용했기를 바랍니다.
00:13:35이 내용에 대해 Andre가 쓴 포스트도 꼭 확인해 보세요.
00:13:37상당히 자세하게 설명되어 있습니다.
00:13:39무료 Chase AI School도 꼭 확인해 보시고요.
00:13:41설명란에 링크가 있는데, 거기에는 모든 프롬프트와
00:13:43이걸 실제로 어떻게 하는지 글로 풀어서 설명해 두었습니다.
00:13:47헷갈리는 부분이 있다면 참고하시고, 언제나처럼
00:13:50그 마스터클래스를 직접 들어보고 싶다면
00:13:52Chase AI Plus를 살펴보세요. 그 외에도,
00:13:54어떠셨는지 의견 남겨주시고 다음에 또 뵙겠습니다.

Key Takeaway

복잡한 벡터 DB 대신 Obsidian의 계층적 마크다운 구조와 Claude Code의 인덱싱 능력을 결합하면 1인 운영자에게 최적화된 저비용 고효율 개인용 지식 RAG 시스템을 구축할 수 있다.

Highlights

안드레이 카파시가 제안한 Obsidian 기반 지식 시스템은 벡터 데이터베이스나 복잡한 임베딩 과정 없이 마크다운 파일 구조만으로 RAG 기능을 구현한다.

이 시스템은 모든 연구 자료를 담는 'raw' 폴더와 생성된 지식을 분류하는 'Wiki' 폴더, 그리고 이를 연결하는 마스터 인덱스 파일로 구성된다.

Claude Code는 마스터 인덱스와 개별 위키 내 인덱스 파일을 참조하여 수많은 문서 사이에서 필요한 정보를 낮은 토큰 비용으로 정확하게 찾아낸다.

Obsidian Web Clipper 확장 프로그램과 Local Images Plus 플러그인을 조합하면 웹페이지의 텍스트와 이미지를 즉시 마크다운으로 변환해 지식 베이스에 추가할 수 있다.

수백만 개의 대규모 문서 처리가 필요한 경우가 아니라면, 1인 운영자나 소규모 팀에게는 복잡한 RAG 시스템보다 Obsidian 기반 방식이 비용과 설정 면에서 효율적이다.

Timeline

Obsidian 기반 RAG 시스템의 개념과 장점

  • 이 시스템은 벡터 데이터베이스나 임베딩 없이도 대규모 문서 처리와 정확한 정보 수집이라는 RAG의 목적을 달성한다.
  • Obsidian은 블랙박스 형태의 기존 RAG와 달리 사용자가 데이터 구조를 직접 확인하고 관리할 수 있는 프런트엔드 역할을 한다.
  • 설정이 매우 간단하고 부하가 거의 없어 1인 운영자나 소규모 팀에게 적합한 지식 베이스 솔루션이다.

복잡한 기술적 추상화 대신 파일 시스템의 영리한 구조화로 LLM 지식 베이스를 구현한다. LightRAG나 GraphRAG와 유사한 연결성을 제공하면서도 사용자가 모든 데이터의 배치와 위키 내용을 육안으로 확인하며 관리할 수 있다는 점이 핵심이다. 이는 관리 효율성을 높이고 시스템 유지 비용을 사실상 무료 수준으로 낮춘다.

효율적인 탐색을 위한 Obsidian 보관소 구조

  • 보관소는 가공되지 않은 연구 자료가 모이는 'raw' 폴더와 주제별로 정리된 'Wiki' 폴더로 이원화하여 운영한다.
  • 전체 위키 목록을 관리하는 마스터 인덱스 파일은 Claude Code가 정보를 찾는 탐색 경로를 명확하게 단축시킨다.
  • 각 개별 위키 폴더 내부의 세부 인덱스 파일은 관련 콘텐츠를 세분화하여 LLM의 도구 호출 횟수와 토큰 낭비를 줄인다.

데이터가 보관소로 들어와 위키로 변환되는 명확한 파이프라인을 설정한다. Claude Code는 사용자의 질문을 받으면 마스터 인덱스를 먼저 확인한 뒤 해당 주제의 위키 폴더와 세부 인덱스로 순차적으로 접근한다. 이러한 계층 구조는 수천 개의 문서가 쌓여도 AI가 길을 잃지 않고 정확한 답변을 내놓을 수 있는 근거가 된다.

시스템 설정 및 자동화 도구 활용법

  • Claude.md 파일은 지식 베이스의 규칙과 탐색 방법을 정의하여 AI 비서가 파일 구조를 이해하도록 돕는다.
  • Obsidian Web Clipper의 저장 위치를 'raw' 폴더로 지정하면 웹 콘텐츠 수집 프로세스를 자동화할 수 있다.
  • Local Images Plus 플러그인을 활성화하여 마크다운 변환 시 누락되기 쉬운 이미지 데이터를 보관소 내에 온전히 보존한다.

초기 설정 시 Claude Code에게 파일 구조 생성을 명령하고 Claude.md 템플릿을 통해 상호작용 규칙을 주입한다. 수동으로 데이터를 넣는 방식 외에도 Claude Code가 직접 인터넷 조사를 수행하여 raw 파일을 생성하고 위키를 구성하게 할 수도 있다. 수집된 기사들은 서로 연결되는 링크 형식을 갖추어 정보 간의 관계를 명확히 시각화한다.

기존 RAG와 Obsidian 방식의 선택 기준

  • 두 시스템의 결정적인 차이점은 처리해야 할 문서의 규모에 있다.
  • 수백만 개의 대규모 문서를 다루는 시점이 되면 전문적인 RAG 시스템이 비용과 속도 면에서 유리해진다.
  • 대부분의 개인이나 소규모 비즈니스 사용 사례에서는 단순한 마크다운 네트워크만으로도 충분한 성능을 발휘한다.

기술적 복잡성에 집착하기보다 현재의 필요 규모에 맞는 도구를 선택하는 것이 중요하다. 비용이 들지 않는 Obsidian 방식으로 먼저 실험을 시작하고, 시스템이 처리 범위를 넘어서는 명확한 시점에 전문 RAG로 전환하는 전략이 권장된다. 대다수 사람에게는 과도하게 복잡한 RAG 시스템보다는 잘 조율된 Obsidian 지식 베이스가 실질적인 도움이 된다.

Community Posts

View all posts