00:00:00Андрей Карпати только что открыл нам доступ
00:00:02к своей личной системе RAG в Obsidian.
00:00:06И я беру слово «RAG» в кавычки,
00:00:07потому что в этой базе знаний на базе Obsidian
00:00:10нет ни векторной базы данных, ни эмбеддингов,
00:00:12ни сложного процесса извлечения данных.
00:00:15Тем не менее, она решает ту же самую проблему,
00:00:17которую якобы решают сложные RAG-структуры,
00:00:21а именно: позволяет большой языковой модели
00:00:23обрабатывать огромные объемы документов
00:00:27и находить в них точную информацию.
00:00:30И самое лучшее в этой системе на Obsidian —
00:00:32то, что она очень легкая, практически бесплатная
00:00:36и является идеальной золотой серединой
00:00:38для индивидуального специалиста или небольшой команды.
00:00:41Поэтому сегодня я покажу вам,
00:00:42как работает система знаний Карпати в Obsidian,
00:00:45как настроить ее самостоятельно
00:00:46и чем она отличается от традиционных RAG-систем,
00:00:50чтобы вы поняли, подходит ли она вам.
00:00:52Процесс создания этой системы знаний
00:00:54был подробно описан вчера
00:00:58в объемном посте Андрея Карпати в Твиттере.
00:01:02Главный вывод из этого поста заключается в том,
00:01:04что мы можем создавать базы знаний
00:01:05для больших языковых моделей,
00:01:07которые по сути работают так же,
00:01:09как LightRAG, RAG-Anything
00:01:12или любая другая система GraphRAG с Obsidian.
00:01:17И мы можем сделать это довольно простым способом,
00:01:20используя продуманную структуру файловой системы
00:01:23и правильный метод загрузки данных.
00:01:25В итоге я могу загрузить
00:01:28внушительный объем данных и документов
00:01:32в свое хранилище Obsidian и использовать Claude Code,
00:01:35чтобы задавать вопросы по ним,
00:01:36находить связи между различными вещами —
00:01:38то есть делать ровно то же самое,
00:01:41что и с традиционной RAG-системой,
00:01:43но без лишних затрат и с гораздо более простой настройкой.
00:01:46Как описывает Андрей, настройка выглядит примерно так.
00:01:49Сначала идет сбор данных.
00:01:51Мы берем статьи,
00:01:52научные работы,
00:01:53репозитории из интернета или откуда угодно
00:01:57и помещаем их в папку «raw» (сырые данные)
00:02:00внутри хранилища Obsidian.
00:02:02По сути, это промежуточная зона,
00:02:03прежде чем данные превратятся в Вики.
00:02:05Мы, как люди, участвующие в этом процессе,
00:02:07можем видеть все происходящее через Obsidian.
00:02:10Obsidian, по всем признакам, является нашим интерфейсом.
00:02:13Здесь я вижу, как распределены все документы.
00:02:15Здесь я могу прочитать все Вики-страницы.
00:02:17Так что это не какая-то абстракция в черном ящике,
00:02:20как это бывает в обычных RAG-системах.
00:02:21Даже в GraphRAG вроде LightRAG бывает трудно
00:02:25заглянуть внутрь и действительно все увидеть.
00:02:29То есть, я могу это сделать, но как бы круто это ни выглядело,
00:02:31это не очень эффективно.
00:02:33А далее вы просто ведете диалог
00:02:35через что-то вроде Claude Code.
00:02:37И, как отметил Андрей,
00:02:38он ожидал, что ему придется прибегнуть
00:02:40к полноценному RAG,
00:02:42но большая языковая модель оказалась хороша
00:02:43в автоматическом ведении индексных файлов
00:02:45и кратких резюме всех прочитанных документов.
00:02:47И мы тоже сможем это сделать
00:02:49с помощью простого файла Claude.md,
00:02:52который я вам предоставлю.
00:02:53Вы сможете найти этот Claude.md,
00:02:55а также письменное руководство
00:02:56с набором промптов
00:02:57в моем бесплатном сообществе Chase AI.
00:03:00Ссылка на него будет
00:03:01в описании к этому видео.
00:03:03И говоря о Chase AI — вы знали, что это будет —
00:03:06небольшая реклама моего мастер-класса по Claude Code.
00:03:08Я выпустил его пару недель назад,
00:03:09и это лучшее место, чтобы стать ИИ-разработчиком с нуля,
00:03:12особенно если у вас нет технического образования.
00:03:15Ссылку на него вы найдете в закрепленном комментарии.
00:03:18Так что обязательно загляните,
00:03:19если вы серьезно настроены освоить этот инструмент.
00:03:22Теперь, прежде чем мы перейдем к деталям
00:03:24настройки этой системы Obsidian для себя,
00:03:28давайте разберем саму структуру файлов,
00:03:30потому что важно понимать,
00:03:32как данные попадают в хранилище
00:03:34и превращаются в Вики.
00:03:36Хранилище (vault) Obsidian — это место, где живет все.
00:03:39Как вы увидите, если никогда им не пользовались,
00:03:41при скачивании Obsidian
00:03:42вам нужно будет назначить папку в качестве хранилища.
00:03:45В моем случае она так и называется — «the vault».
00:03:48Там находится все содержимое Obsidian.
00:03:50Внутри этого хранилища
00:03:52у нас будет подпапка «raw».
00:03:54В папку «raw» сбрасываются все наши исследования.
00:03:58Все, что мы хотим включить в Вики вручную, попадает сюда.
00:04:01По сути, это папка для подготовки данных.
00:04:02Здесь будут храниться все исходные данные.
00:04:05Это могут быть Markdown-файлы.
00:04:06Это могут быть PDF-файлы.
00:04:07И я покажу вам, как использовать веб-клиппер Obsidian,
00:04:10чтобы превращать любую веб-страницу в Markdown-файл,
00:04:14который автоматически отправляется в папку «raw».
00:04:16У нас будет еще одна подпапка —
00:04:18папка «Wiki».
00:04:19Что будет делать большая языковая модель,
00:04:21а точнее Claude Code, так это по запросу —
00:04:24или вы можете сделать это навыком или автоматизировать —
00:04:27мы направим ее на папку «raw» и скажем:
00:04:29«Я хочу, чтобы ты создала Вики по теме,
00:04:33информацию о которой ты собирала».
00:04:35После этого она создаст соответствующую Вики.
00:04:37Как видите, здесь у нас три разные Вики-папки:
00:04:41одна про ИИ-агентов, одна про RAG-системы
00:04:43и одна про создание контента.
00:04:45Между папкой «Wiki» и этими тематическими папками
00:04:50находится главный индексный файл Markdown.
00:04:53По сути, это просто список
00:04:54всех созданных Вики-страниц.
00:04:58Идея в том, что когда вы — это вы —
00:05:02когда вы общаетесь с Claude Code,
00:05:04а вон там у нас Claude Code, и говорите:
00:05:06«Я хочу узнать больше об ИИ-агентах.
00:05:08Я хочу задать вопросы по моей Вики».
00:05:12Что она сделает?
00:05:13Она пойдет в хранилище,
00:05:15в котором вы, скорее всего, уже находитесь.
00:05:17Затем она перейдет в папку «Wiki».
00:05:18Она заглянет в главный индексный файл и спросит:
00:05:21«Так, какие Вики у нас созданы?
00:05:23Ага, он хочет знать про RAG-системы».
00:05:26Хорошо, она переходит к RAG.
00:05:28А в самих папках Вики есть свои индексные файлы,
00:05:31которые структурируют весь дополнительный контент.
00:05:33То, что дает нам Obsidian
00:05:35и эта структура файлов —
00:05:36это очень четкий путь для поиска информации,
00:05:39даже если ее накопилось огромное количество.
00:05:41Это помогает Claude Code,
00:05:42потому что у нее не возникнет проблем
00:05:45с поиском нужных данных.
00:05:46Нам не придется делать миллион вызовов инструментов,
00:05:48чтобы понять структуру наших файлов.
00:05:50Но это помогает и вам, потому что сразу ясно, куда идти.
00:05:52Например, слева находится моя папка Obsidian.
00:05:56Я в интерфейсе Obsidian,
00:05:57и через секунду мы перейдем к установке.
00:05:59Если я хочу посмотреть Вики, что я делаю?
00:06:01Я просто иду в раздел «Wiki».
00:06:03Там есть главный индекс,
00:06:04в котором перечислено все содержимое.
00:06:06Сейчас там всего три пункта.
00:06:07Но даже если бы их было 3000, это не составило бы труда.
00:06:10И оттуда я могу просто кликнуть по ссылке.
00:06:12Это приведет меня к индексу конкретной Вики-страницы.
00:06:16А там я уже могу изучать разные материалы.
00:06:18Все предельно просто.
00:06:19И для ИИ это тоже просто,
00:06:21вот почему мы можем использовать
00:06:22по сути обычную структуру Markdown-файлов,
00:06:24чтобы в какой-то мере имитировать RAG-систему.
00:06:27Теория — это круто, но теперь
00:06:28давайте разберем, как настроить это для себя.
00:06:31Прежде всего, вам нужно скачать Obsidian.
00:06:33Зайдите на obsidian.md, нажмите «Download Now»
00:06:37и следуйте подсказкам установщика.
00:06:38Это совершенно бесплатно.
00:06:40Затем вам нужно назначить папку в качестве хранилища.
00:06:43Просто создайте ее и назовите «the vault».
00:06:45Мне так удобнее, и вам, скорее всего, тоже подойдет.
00:06:47После создания хранилища
00:06:49нужно настроить в нем структуру файлов.
00:06:52Проще всего это сделать через Claude Code.
00:06:54Просто откройте Claude Code в папке хранилища.
00:06:57Это та директория, в которой я сейчас нахожусь.
00:06:59И дайте ей промпт
00:07:01с указанием создать нужную структуру файлов.
00:07:03К счастью для вас, я уже составил этот промпт.
00:07:05Так что вы можете просто скопировать его и вставить в Claude Code.
00:07:08Если же вы, как и я, уже какое-то время
00:07:10пользуетесь Obsidian, у вас там наверняка
00:07:13уже есть куча своих папок.
00:07:14Может быть, вы не хотите называть папку «raw».
00:07:17Может, вы хотите назвать ее как-то иначе.
00:07:18Суть в том, что вам просто нужно выделить
00:07:20какую-то папку в качестве зоны ожидания,
00:07:23где будет скапливаться вся информация,
00:07:25пока она не превратится в Вики.
00:07:27Так что подстраивайте под себя.
00:07:28Следующий шаг — создание файла Claude.md.
00:07:31Для проектов типа личных ассистентов,
00:07:33где много работы с Markdown, файлы Claude.md подходят идеально.
00:07:37В этом файле Claude.md прописаны
00:07:40правила базы знаний,
00:07:41а также то, как по ней перемещаться.
00:07:43Итак, мы не будем впустую тратить токены,
00:07:44когда задаем вопросы.
00:07:46Опять же, у меня есть весь этот шаблон промпта
00:07:50для файла Claude.md, который вы можете использовать.
00:07:50Этот файл Claude.md также сообщает Claude,
00:07:53как структурировать эти Markdown-файлы.
00:07:55Благодаря формату Wiki-ссылок
00:07:58перемещаться по файлам очень легко.
00:08:00Теперь давайте поговорим о том,
00:08:02как нам поместить данные в папку "raw".
00:08:03Как вообще загрузить данные в нашу систему.
00:08:06Что ж, очень простой способ сделать это —
00:08:08использовать Obsidian Web Clipper.
00:08:10Я оставлю ссылку на него в школе,
00:08:13или вы можете перейти на obsidian.md/clipper.
00:08:16Это просто расширение для Chrome,
00:08:18которое позволяет легко превратить веб-страницу в данные,
00:08:22в Markdown-файл.
00:08:23Единственная проблема с этим Web Clipper
00:08:25он плохо справляется с изображениями.
00:08:26Он их просто не перенесет.
00:08:27Они останутся в виде ссылок.
00:08:29Но я хочу видеть изображения из документов,
00:08:31которые я импортирую, прямо внутри Obsidian.
00:08:33Так что же нам делать?
00:08:34Мы воспользуемся плагином сообщества Obsidian,
00:08:37чтобы решить эту задачу.
00:08:39Одна из крутых особенностей Obsidian —
00:08:41это плагины сообщества.
00:08:42Их там тысячи.
00:08:43Если вы находитесь в Obsidian —
00:08:46я сейчас в десктопном приложении.
00:08:47Если я спущусь сюда и нажму на эту шестеренку,
00:08:50я перейду в раздел плагинов сообщества.
00:08:52Зайду в обзор (Browse).
00:08:54И затем введу в поиске "local images plus".
00:08:56Вам нужно скачать его, установить и включить.
00:09:00Убедитесь, что он активен.
00:09:01Вы можете подтвердить активацию,
00:09:03зайдя во вкладку установленных плагинов
00:09:05и увидев, что переключатель включен.
00:09:08Теперь, если мы используем Obsidian Web Clipper —
00:09:11я вижу его здесь в расширениях —
00:09:13вы увидите, что произойдет.
00:09:15Он мгновенно извлекает всё содержимое.
00:09:17И если я нажму "Добавить в Obsidian",
00:09:19я увижу всю статью целиком, включая изображения.
00:09:21Теперь нам нужно настроить одну вещь
00:09:24внутри Web Clipper,
00:09:25чтобы он автоматически сохранял данные
00:09:26прямо в папку "raw".
00:09:29Я не хочу делать это вручную.
00:09:30Просто перейдите в настройки вашего Web Clipper.
00:09:34Я просто кликнул правой кнопкой мыши.
00:09:35И здесь слева, где написано "Default",
00:09:38я создал свой новый шаблон,
00:09:39но вы можете оставить стандартный, если хотите,
00:09:42и найти пункты "Location" и "Note Location".
00:09:47Вам нужно изменить значение с "clippings" на "raw".
00:09:52Это гарантирует, что при использовании клипера
00:09:54данные будут сразу попадать в папку "raw".
00:09:56Так что теперь, с расширением Obsidian Web Clipper
00:09:59и плагином для работы с изображениями,
00:10:01мы можем превратить любую веб-страницу в интернете
00:10:04в Markdown-файл для нашей базы знаний (Wiki).
00:10:08Но это лишь один из каналов поступления данных.
00:10:10Это ручной способ.
00:10:11Мы также можем поручить Claude Code основную работу.
00:10:14Допустим, я хочу создать Wiki
00:10:16о навыках Claude Code.
00:10:17Я сказал Claude Code:
00:10:18«Давай создадим Wiki о навыках Claude Code.
00:10:20Я уже добавил информацию в папку "raw"» —
00:10:23то, что мы извлекли через Web Clipper.
00:10:25«Проведи собственное исследование и собери нужные»
00:10:27«MD-файлы в папку raw для генерации этой Wiki».
00:10:29И что же он сделает?
00:10:30Он выйдет в интернет, используя стандартный веб-поиск,
00:10:32и создаст собственную Wiki
00:10:36о навыках Claude Code.
00:10:37Вы видите, что эта папка "raw",
00:10:40весь этот конвейер — он больше для вас.
00:10:42Для случаев, когда вы сами хотите внести данные.
00:10:44Конечно, Claude Code тоже может это делать,
00:10:46но он достаточно умен, чтобы провести исследование,
00:10:49самостоятельно,
00:10:50понять, что важно, и сразу создать Wiki.
00:10:53Эта папка "raw" нужна скорее человеку,
00:10:55чтобы поддерживать определенный уровень порядка.
00:10:58И вот с чем вернулся Claude Code.
00:10:59Он создал Wiki по навыкам Claude Code.
00:11:02Мы видим ссылку на нее в главном индексе.
00:11:05Если я нажму на нее,
00:11:07то попаду в индекс навыков Claude Code.
00:11:10Сейчас там четыре статьи.
00:11:12Вот обзорная статья о навыках.
00:11:15Как видите, она ссылается как на внешние сайты, так и
00:11:18на другие статьи внутри нашего хранилища Obsidian.
00:11:21Нажимаю на "Экосистему навыков" — здесь еще данные.
00:11:25Нажимаю на "Лучшие навыки", и так далее.
00:11:27Существует четкий путь от одной статьи к другой,
00:11:30понятно, как они связаны,
00:11:32а значит, когда вы задаете Claude Code вопросы
00:11:34по этим статьям и темам,
00:11:35ему легко и дешево давать ответы,
00:11:39что подводит нас к очевидному вопросу.
00:11:41Нужен ли нам RAG вообще? Знаете,
00:11:43глядя на такой вариант с "Light RAG".
00:11:45Вы смотрели мои прошлые видео про Light RAG и RAG
00:11:48на чем угодно, и видя, как просто всё настроить в Obsidian,
00:11:51вы, вероятно, думаете:
00:11:52«Зачем мне вообще возиться с этими сложными»
00:11:55«системами?»
00:11:56И правда такова: если вы работаете в одиночку,
00:11:59соло-предприниматель или небольшая команда,
00:12:02у которой нет тысяч документов,
00:12:04то Obsidian, скорее всего, подходит вам больше.
00:12:08Он легкий, и настоящий RAG вам не нужен.
00:12:11Эти большие языковые модели,
00:12:12инструменты вроде Claude Code, вполне справятся
00:12:16с вашими задачами.
00:12:17Мы можем долго копаться в деталях
00:12:18различий между RAG в Obsidian и полноценным RAG.
00:12:21Но главное различие — это масштаб, верно?
00:12:24Пытаемся ли мы масштабироваться до миллионов документов?
00:12:27Потому что при определенном масштабе
00:12:29использовать полноценную RAG-систему
00:12:32будет дешевле и быстрее.
00:12:33Независимо от того, насколько хорошо Claude Code ориентируется
00:12:38в созданной вами сети MD-файлов.
00:12:40Но на этот вопрос не обязательно отвечать
00:12:42прямо сейчас.
00:12:44Почему бы просто не начать с чего-то вроде Obsidian?
00:12:47И если станет ясно,
00:12:48что ваши объемы выходят за рамки возможностей этой системы," —
00:12:51тогда просто переходите на RAG.
00:12:53Мне кажется, люди слишком зацикливаются на
00:12:55поиске ответа, когда нужно просто попробовать.
00:12:58Попытка использовать некое подобие RAG-системы,
00:13:01такой как Obsidian, ничего вам не стоит.
00:13:03А если не сработает — ну и ладно.
00:13:05Тогда используйте Light RAG.
00:13:06Люди любят посидеть и,
00:13:09как обычно бывает в комментариях, спорить об этом.
00:13:11Я думаю, в какой-то момент станет совершенно очевидно,
00:13:14когда пора переходить на настоящий RAG.
00:13:16Но прелесть в том, что
00:13:19большинству людей не нужен полноценный RAG.
00:13:21Просто не нужен, понимаете?
00:13:22Даже если это команда малого бизнеса.
00:13:24Так что наличие грамотно
00:13:27организованной базы знаний в Obsidian,
00:13:30на мой взгляд, станет огромным подспорьем для большинства.
00:13:33Надеюсь, этот разбор был вам полезен.
00:13:35Обязательно посмотрите пост Андре на эту тему.
00:13:37Там довольно много подробностей.
00:13:39Также загляните в бесплатную школу Chase AI.
00:13:41Ссылка в описании — там есть все
00:13:43промпты и текстовый гайд по реализации.
00:13:47Если вы запутались на каком-то этапе, и как всегда,
00:13:50обратите внимание на Chase AI Plus,
00:13:52если хотите получить доступ к мастер-классу.
00:13:54Пишите ваши мысли, и до встречи!