Claude Code + LightRAG = НЕПОБЕДИМАЯ СВЯЗКА

CChase AI
Computing/SoftwareSmall Business/StartupsInternet Technology

Transcript

00:00:00слухи о смерти RAG были сильно преувеличены.
00:00:03Да, я знаю, что большие языковые модели, такие как Opus 4.6,
00:00:05в последнее время стали намного лучше работать с огромным контекстом.
00:00:09Но если вы думаете, что это означает, что RAG вам больше не понадобится,
00:00:12вы столкнетесь с препятствием,
00:00:14которое невозможно преодолеть одними лишь промптами.
00:00:16Поэтому сегодня я объясню, когда вам нужен RAG,
00:00:19какой тип RAG действительно работает в 2026 году,
00:00:22потому что за последний год ландшафт сильно изменился,
00:00:25и я покажу вам, как подключить Cloud Code
00:00:28к вашей системе RAG,
00:00:30а также дам навыки, которые вы сможете применить на практике.
00:00:32Итак, сегодняшняя цель — дать вам вот это:
00:00:35систему Graph RAG на базе Light RAG,
00:00:38которую мы сможем использовать с Cloud Code.
00:00:40И что более важно, это даст нам систему,
00:00:43которую можно использовать, когда нам нужен ИИ
00:00:45для работы с гигантскими массивами документов, понимаете?
00:00:49Не просто 5 или 10 документов,
00:00:51как вы увидите в демо-версии,
00:00:52а 500 или 1000 документов,
00:00:55потому что недостаточно просто полагаться
00:00:57на контекстное окно, которое предлагает Cloud Code
00:00:59или любая другая LLM.
00:01:01Когда вы выходите на огромные масштабы,
00:01:03что часто встречается в крупных корпорациях
00:01:05или даже в малом бизнесе,
00:01:06наличие такой RAG-системы обходится дешевле и работает быстрее,
00:01:10чем ваш стандартный агентский поиск (grep).
00:01:12С учетом этого,
00:01:13умение создавать
00:01:14подобные RAG-системы — очень важный навык,
00:01:16но, к счастью, это довольно просто.
00:01:18И, как я уже упоминал,
00:01:19сегодня мы будем использовать Light RAG.
00:01:21Это репозиторий с открытым исходным кодом, который мне очень нравится.
00:01:25Он существует уже некоторое время
00:01:26и постоянно обновляется.
00:01:28Он способен конкурировать с более сложными
00:01:30системами Graph RAG от Microsoft,
00:01:32причем за ничтожную долю их стоимости.
00:01:35Так что это идеальное место, чтобы опробовать
00:01:37концепции Graph RAG, если вы никогда ими не пользовались.
00:01:40Но чтобы получить максимум от Light RAG,
00:01:43нам нужно понять, как RAG работает на базовом уровне,
00:01:46потому что сфера RAG изменилась.
00:01:48То, что мы делали в конце 2024-го и начале 2025 года,
00:01:51называлось "наивным RAG" — самым базовым уровнем.
00:01:54Помните все те автоматизации n8n, где говорилось:
00:01:56«давайте пойдем в Pinecone или Supabase»?
00:01:58Это был наивный RAG.
00:02:00Сейчас это больше не работает.
00:02:02Этого уже недостаточно.
00:02:03Нам нужно использовать более сложные версии RAG,
00:02:06но сначала необходимо понять основы.
00:02:08Давайте быстро освежим в памяти, что такое RAG
00:02:12и как он работает, прежде чем переходить к настройке Light RAG.
00:02:14Итак, RAG — Retrieval Augmented Generation (генерация, дополненная поиском).
00:02:18Работает это так: сначала мы берем
00:02:20какой-либо документ.
00:02:22В серьезной системе RAG
00:02:25их будут тысячи.
00:02:27У нас есть этот документ,
00:02:29который мы хотим поместить в нашу RAG-систему,
00:02:31в векторную базу данных.
00:02:34Но на самом деле документ
00:02:38не просто забрасывается в эту базу,
00:02:40как в систему Google Drive.
00:02:41Документ проходит через модель эмбеддинга,
00:02:44а затем превращается в вектор.
00:02:46Но более того,
00:02:47документ не попадает туда целиком.
00:02:50Он разбивается на части (чанки).
00:02:51Представьте, что у нас есть одностраничный документ,
00:02:54и он разделяется на чанк 1, чанк 2 и чанк 3.
00:02:59Каждый из этих чанков затем становится вектором,
00:03:03который является просто точкой на графике —
00:03:05точкой в векторной базе данных.
00:03:06Модель эмбеддинга как раз и отвечает за это дробление.
00:03:09Она берет документ,
00:03:11определяет его смысл
00:03:13и превращает его в точку на этом графике.
00:03:16Итак, документ дробится,
00:03:18проходит через модель эмбеддинга,
00:03:20и превращается в вектор на графике.
00:03:24Для примера возьмем трехмерный график.
00:03:27В реальности там тысячи измерений,
00:03:30но для удобства представьте его как 3D-график.
00:03:33Допустим, этот документ был о военных кораблях.
00:03:36Каждый вектор превратился в своего рода чанк
00:03:39о военных кораблях.
00:03:40Куда он попадет?
00:03:41Конечно же, он окажется рядом с «лодками» и «судами»
00:03:43и станет отдельным вектором.
00:03:45Под вектором я имею в виду,
00:03:46что ему присваивается ряд чисел, которые его представляют.
00:03:50Вы можете увидеть это на примере с бананами.
00:03:53Банан — это 0.52, 5.12, 9.31 и так далее.
00:03:57Это продолжается на протяжении тысяч чисел.
00:04:00Так что наша лодка здесь — это что-то вроде 1, 2, 3,
00:04:05и так до бесконечности.
00:04:07Довольно просто.
00:04:08Очевидно, она не окажется рядом с бананами и яблоками.
00:04:10Это и есть процесс превращения документа в эмбеддинг,
00:04:14а также процесс дробления.
00:04:15Теперь представим, что вы здесь.
00:04:18Вы — вот этот веселый человечек,
00:04:20и вы задаете большой языковой модели
00:04:21вопрос о военных кораблях.
00:04:24Этот вопрос в сценарии RAG-системы
00:04:27тоже будет превращен в вектор.
00:04:30Ваш вопрос анализируется LLM,
00:04:34она присваивает ему ряд чисел,
00:04:35которые также соответствуют определенному вектору
00:04:38в этой базе данных, ясно?
00:04:41Затем система сравнит
00:04:43вектор вашего вопроса
00:04:45с другими векторами на графике.
00:04:49Она ищет так называемое «косинусное сходство»,
00:04:51но по сути она просто говорит:
00:04:53«Эй, вопрос был об этом».
00:04:55«Мы присвоили эти числа».
00:04:56«Какие векторы находятся ближе всего?»
00:04:58«Какие числа ближе всего к этому вопросу?»
00:05:00Скорее всего, это будет вектор о кораблях
00:05:02и, вероятно, о лодках и судах.
00:05:04Теперь она извлечет все эти векторы
00:05:08со всей их информацией,
00:05:10и дополнит ими ответ, который генерирует для вас —
00:05:13отсюда и название «генерация, дополненная поиском».
00:05:16Вместо того чтобы полагаться
00:05:17чисто на свои обучающие данные,
00:05:19LLM заходит в векторную базу данных,
00:05:22берет нужные векторы,
00:05:24возвращает их и дает вам ответ про корабли.
00:05:27Вот так работает RAG.
00:05:29Прием документа, деление на чанки и превращение в вектор.
00:05:32Вектор сравнивается с заданным вопросом,
00:05:35извлекаются ближайшие — вуаля, RAG.
00:05:39И это «наивный RAG»,
00:05:40который на самом деле работает не очень хорошо.
00:05:44Поэтому люди поумнее нас с вами
00:05:46придумали способы получше,
00:05:49а именно: гибридный поиск, Graph RAG и агентский RAG.
00:05:53Сегодня мы сосредоточимся на Graph RAG.
00:05:55В Graph RAG происходит тот же процесс.
00:05:57У вас все так же есть документ.
00:05:58Он все так же делится на чанки.
00:05:59Он все так же помещается в плоскую векторную базу данных,
00:06:03но добавляется еще кое-что.
00:06:05Создается база знаний в виде графа.
00:06:07Создается вот такая сложная штука.” что это такое?
00:06:08Что это всё такое?
00:06:09Что значат все эти векторы и линии?
00:06:11Что это означает на самом деле?
00:06:12Все эти векторы, эти маленькие кружочки —
00:06:14это то, что называют «сущностями».
00:06:17А линии, соединяющие две сущности,
00:06:21это «ребро» или «отношение».
00:06:23Возвращаясь к примеру с документами:
00:06:25представьте, что документ посвящен Anthropic и Claude Code.
00:06:28И в извлеченном фрагменте текста говорится:
00:06:31«Anthropic создала Claude Code».
00:06:35Система возьмет это и разобьет
00:06:36на сущности и отношения.
00:06:38Какие здесь две сущности?
00:06:39Сущностями будут
00:06:41Anthropic и Claude Code.
00:06:44А отношение — «Anthropic создала Claude Code».
00:06:48У вас есть Anthropic здесь
00:06:51и Claude Code вот здесь.
00:06:54Это одна сущность, это другая сущность,
00:06:58и между ними есть связь.
00:06:59На визуальном графе это просто линия,
00:07:03но «под капотом» в коде
00:07:05эта линия между двумя сущностями
00:07:08имеет связанный с ней текст,
00:07:10описывающий их взаимоотношения.
00:07:11В системе Graph RAG
00:07:13это делается для каждого добавленного документа.
00:07:16Представьте это, умноженное на тысячу документов.
00:07:19Здесь показано на примере 10 документов —
00:07:21все эти связи и все эти сущности.
00:07:24Вы понимаете, насколько это сложнее и умнее,
00:07:26чем просто набор разрозненных векторов,
00:07:28изолированных в векторной базе данных.
00:07:30С такой системой, как Light RAG,
00:07:33мы получаем и создание графа знаний,
00:07:35и стандартную векторную базу данных.
00:07:38Она делает обе эти вещи параллельно.
00:07:40И теперь, когда вы задаете вопрос
00:07:43языковой модели о чем угодно,
00:07:45она не только находит конкретный
00:07:47наиболее близкий вектор,
00:07:49но и спускается сюда, чтобы изучить сущность.
00:07:54Допустим, вы спросили про Anthropic.
00:07:56Теперь она пройдет по всем связям,
00:07:59по всем ребрам и найдет всё, что посчитает важным.
00:08:03Что это значит для вас как для пользователя?
00:08:06С помощью системы Graph RAG
00:08:08С системой GraphRAG я теперь могу
00:08:11задавать гораздо более глубокие вопросы,
00:08:13а не просто спрашивать о документе,
00:08:15что, по сути, напоминает обычный поиск через Ctrl+F.
00:08:17Теперь я могу спросить, как разные документы,
00:08:19разные теории и идеи связаны друг с другом,
00:08:21потому что эти связи нанесены на карту, верно?
00:08:24В этом и заключается вся суть.
00:08:25Это про объединение разрозненной информации.
00:08:30В этом сила GraphRAG.
00:08:32В этом сила LightRAG.
00:08:33И это то, что мы изучим сегодня.
00:08:35Установка и использование LightRAG
00:08:37проще, чем вы можете себе представить.
00:08:40Я покажу вам самый простой способ,
00:08:42где мы просто воспользуемся Claude Code.
00:08:44Мы дадим ему URL-адрес LightRAG
00:08:48и скажем: «Эй, настрой это для нас».
00:08:50И он сделает практически всё сам.
00:08:52В этом сценарии нам понадобится всего несколько вещей.
00:08:55Как вы видели в разборе того, как работает RAG,
00:08:58нам нужна модель эмбеддингов.
00:08:59Для этого потребуется API.
00:09:02Я советую использовать OpenAI.
00:09:04У них очень эффективная модель эмбеддингов.
00:09:07Так что вам понадобится ключ OpenAI.
00:09:09С LightRAG у вас также есть возможность
00:09:11сделать всё полностью локальным.
00:09:14У вас могла бы быть локальная модель через Ollama,
00:09:17которая делает все расчеты с эмбеддингами,
00:09:20а также отвечает на вопросы.
00:09:21Так что знайте, что вариант полной локальности тоже есть.
00:09:24Мы же сделаем «фифти-фифти».
00:09:25Мы настроим модель эмбеддингов от OpenAI
00:09:28вместе с моделью, которая выполняет основную работу.
00:09:31И еще нам понадобится Docker.
00:09:34Если вы никогда раньше не пользовались Docker,
00:09:35его довольно легко настроить.
00:09:36Вам просто понадобится Docker Desktop,
00:09:39просто скачайте его, установите и запустите
00:09:41перед тем, как запускать LightRAG,
00:09:42потому что ему понадобится контейнер.
00:09:45Итак, что вы делаете сейчас —
00:09:46вы открываете Claude Code
00:09:47и говорите: «Клонируй репозиторий LightRAG,
00:09:50создай файл .env, настроенный для OpenAI
00:09:53с GPT-4o mini и text-embedding-3-large,
00:09:56используй локальное хранилище по умолчанию
00:09:58и запусти его через docker-compose»,
00:10:00и затем даете ссылку на LightRAG.
00:10:02Если вы это сделаете, он выполнит всё за вас.
00:10:06Я выложу этот промпт в бесплатном сообществе School,
00:10:10ссылка на него будет в описании.
00:10:12Также там будет кое-что еще,
00:10:13что я покажу чуть позже,
00:10:15некоторые «навыки» для Claude Code и LightRAG,
00:10:17чтобы было легче управлять им прямо из Claude Code.
00:10:19Так что вы сможете найти это там же.
00:10:22И вы знали, что это будет.
00:10:22Говоря о моей школе,
00:10:24быстрая реклама мастер-класса по Claude Code —
00:10:25это лучший способ пройти путь от нуля до AI-разработчика,
00:10:28особенно если у вас нет технического образования.
00:10:31Ссылка на него в закрепленном комментарии.
00:10:33Я обновляю его буквально каждую неделю.
00:10:35За последние две недели
00:10:36я уже добавил около полутора часов
00:10:38дополнительного контента.
00:10:39Так что обязательно загляните,
00:10:40если вы серьезно настроены освоить Claude Code
00:10:42и ИИ в целом.
00:10:44Но опять же, если вы новичок и это пока сложно,
00:10:46просто посмотрите бесплатную версию школы,
00:10:47там куча отличных ресурсов для тех,
00:10:49кто только начинает свой путь.
00:10:50И перед тем как запустить это,
00:10:51просто убедитесь, что Docker Desktop запущен,
00:10:53а ключ OpenAI наготове,
00:10:55и дайте Claude Code сделать свою работу.
00:10:56После того как Claude Code закончит установку
00:10:58и вы добавите свой ключ OpenAI в файл .env,
00:11:01вы должны увидеть примерно следующее.
00:11:02Во-первых, в вашем Docker Desktop
00:11:04должен появиться запущенный контейнер LightRag.
00:11:07Затем Claude Code также должен дать вам
00:11:11ссылку на localhost, порт должен быть 9621.
00:11:13Она приведет вас на страницу, которая выглядит так.
00:11:15Это веб-интерфейс для LightRag.
00:11:18И здесь мы можем загружать документы,
00:11:21просматривать граф знаний, извлекать данные,
00:11:24а также можем изучить
00:11:25все различные эндпоинты API,
00:11:28которые пригодятся нам позже.
00:11:30Здесь вы видите документы,
00:11:31которые я загрузил для этого видео.
00:11:33Загружать документы очень и очень просто.
00:11:35Мы просто переходим сюда направо,
00:11:36где написано «Upload», и перетаскиваем их.
00:11:39Но учтите, что сюда можно загружать
00:11:42только определенные типы документов, верно?
00:11:43Текстовые файлы, PDF... по сути,
00:11:46вы ограничены текстовым форматом.
00:11:49Существует способ обойти это,
00:11:51а именно для работы с изображениями, чартами и таблицами
00:11:56и тому подобными вещами.
00:11:57Мы поговорим об этом в конце,
00:11:59так как это немного выходит за рамки темы,
00:12:00но мы это изучим.
00:12:02Итак, закиньте сюда любые документы,
00:12:04и вы сможете видеть их статус
00:12:07по мере загрузки.
00:12:08Это займет некоторое время, потому что,
00:12:10опять же, в процессе строится граф знаний.
00:12:12Так что это может быть небыстро.
00:12:14И если вдруг вы на странице графа знаний,
00:12:16иногда такое бывает, и видите надпись:
00:12:18«Эй, он не загрузился» или что-то в этом роде,
00:12:19вы можете просто сбросить его, нажав эту кнопку
00:12:21здесь, в левом верхнем углу.
00:12:23Если вы перейдете на вкладку «Retrieval»,
00:12:25там вы сможете задавать вопросы
00:12:27о вашем графе знаний большой языковой модели,
00:12:30которой в данном случае, скорее всего, является OpenAI,
00:12:31если вы использовали тот же ключ для эмбеддингов.
00:12:33Справа у нас есть некоторые параметры.
00:12:36Честно говоря, для начала там мало что нужно менять.
00:12:39Через секунду я покажу, как Claude Code может это сделать.
00:12:42Но когда вы задаете вопросы, например...
00:12:44у меня там была пачка документов по ИИ и RAG.
00:12:47Я спросил: «Какова полная картина стоимости
00:12:48запуска RAG в 2026 году?»
00:12:50И он выдает мне довольно сложный и детальный ответ.
00:12:53Более того, он также дает ссылки
00:12:56на всё, что он делает, верно?
00:12:57Видите здесь цифры 4, 3, 2...
00:13:00потому что внизу страницы
00:13:01он покажет источники,
00:13:03из которых он взял информацию.
00:13:05И очевидно, что внутри нашего графа знаний
00:13:07отражены сущности и связи.
00:13:09Если я нажму на одну из этих сущностей, например OpenAI,
00:13:12я смогу увидеть некоторые её свойства.
00:13:14То есть LightRag делает больше, чем просто
00:13:17извлечение связей и сущностей при создании эмбеддингов.
00:13:19Он копает глубже и определяет:
00:13:20«Так, какой это тип сущности?»
00:13:22Организация это или человек?
00:13:25Там указаны конкретные файлы, которые он использовал,
00:13:27а также ID чанков.
00:13:29И затем в самом низу справа
00:13:31вы можете увидеть актуальные связи.
00:13:32Я сейчас это уберу на секунду.
00:13:33Так вот, внизу справа,
00:13:35если вам их плохо видно визуально,
00:13:36потому что на графе они могут сбиваться в кучу,
00:13:40вы можете просто кликнуть здесь,
00:13:41и система также вас к ним приведет.
00:13:43Этот API сервера — это как раз то, что мы будем использовать,
00:13:46чтобы подключить всю эту систему к Claude Code.
00:13:48Потому что, как бы круто это ни было,
00:13:50я не собираюсь сидеть здесь
00:13:51каждый божий раз, когда захочу задать вопрос
00:13:53своему графу знаний через вкладку поиска.
00:13:56Это слишком муторно.
00:13:57Вместо этого мы будем использовать эти API.
00:14:00Каждый из этих API,
00:14:03как вы видите в описании и параметрах,
00:14:05может быть превращен в «навык», понимаете?
00:14:08И это именно то, что я сейчас собираюсь вам показать.
00:14:11Чтобы, когда вам понадобится помощь LightRag в Claude Code,
00:14:15мы могли просто зайти в Claude Code и сказать:
00:14:17«Эй, я хочу использовать навык запроса LightRag
00:14:19и задать такой-то вопрос».
00:14:22Это то же самое, как если бы вы были здесь,
00:14:23на вкладке поиска, и задали свой вопрос лично.
00:14:26И что ещё лучше — Claude Code возьмет ответ,
00:14:28который он получит, и резюмирует его,
00:14:30потому что ответы от LightRag могут быть
00:14:32очень подробными сами по себе.
00:14:34Но если вам нужен просто «сырой» ответ,
00:14:36это тоже можно настроить.
00:14:37Суть в том, что хотя у этого есть веб-интерфейс,
00:14:40вам никогда не придется с ним взаимодействовать,
00:14:41если вы этого не хотите.
00:14:42И его очень легко внедрить
00:14:44в нашу экосистему Claude Code.
00:14:46Я выделил четыре основных навыка, которые пригодятся вам чаще всего:
00:14:48query (запрос), upload (загрузка), explore (изучение) и status (статус).
00:14:51Все четыре также будут доступны в бесплатной школе.
00:14:55Но что вы будете делать в основном?
00:14:56Вы будете добавлять новые документы
00:14:58и задавать по ним вопросы.
00:15:01А также вам, вероятно, захочется узнать:
00:15:02«Так, а что я туда вообще уже загрузил?»
00:15:04Потому что когда документов становится много,
00:15:05хочется избежать повторной загрузки
00:15:07одних и тех же файлов снова и снова.
00:15:08И если я задам тот же вопрос внутри Claude Code,
00:15:12я просто вызываю навык запроса LightRag,
00:15:14он отправляет этот запрос в LightRag,
00:15:18который, опять же, размещен на нашем компьютере,
00:15:21он запущен внутри этого Docker-контейнера,
00:15:22и он вернет ответ.
00:15:24При этом вы не ограничены этой полулокальной системой.
00:15:28Если вы тот, кто масштабирует LightRAG очень серьезно,
00:15:30вы можете разместить его
00:15:33на стандартном сервере Postgres.
00:15:36У вас много вариантов, можно использовать что-то вроде Neon.
00:15:38Так что здесь охвачен весь спектр.
00:15:40Вы можете работать полностью локально или перенести все это
00:15:43в облако, если захотите.
00:15:44LightRAG очень, очень гибко настраивается.
00:15:46А вот ответ, который выдал Cloud Code,
00:15:48который, опять же, является кратким изложением сырого ответа,
00:15:52полученного от LightRAG, и он также цитирует источники.
00:15:55Я также попросил его показать сырой ответ,
00:15:57потому что его тоже можно получить,
00:15:58так как он просто возвращается в Cloud Code
00:16:00в формате JSON.
00:16:02Вот и все.
00:16:04И снова, там есть ссылки, если они вам нужны.
00:16:07Как вы только что видели, LightRAG очень легко установить
00:16:10и очень просто интегрировать в ваш рабочий процесс Cloud Code.
00:16:14Теперь возникает вопрос: "Ладно, Чейз, звучит здорово."
00:16:18Я концептуально понимаю, что если у меня тонна документов,
00:16:20мне, возможно, стоит это использовать.
00:16:22Но где проходит та самая черта?
00:16:23Когда мне следует начать внедрять LightRAG?
00:16:26Что ж, точной цифры не существует.
00:16:28Серая зона, я бы сказал, находится где-то между 500
00:16:33и 2000 страниц документов.
00:16:36Я не хочу говорить просто "документов",
00:16:37потому что кто знает, какого они объема,
00:16:39но примерно от 500 до 2000 текстовых страниц.
00:16:42На отметке в 2000 страниц вы начинаете приближаться
00:16:44к миллиону токенов.
00:16:47Сверх этого, безусловно, имеет смысл
00:16:50начать интеграцию LightRAG,
00:16:52потому что при такой настройке RAG
00:16:54это будет дешевле и быстрее,
00:16:57чем полагаться на стандартный grep в Cloud Code.
00:17:00Агентный grep — то, как Cloud Code ищет файлы —
00:17:03уже работает отлично.
00:17:04Есть причина, по которой в Cloud Code выбрали именно этот метод.
00:17:07Однако это не рассчитывалось на то, что у вас будет 2000 страниц
00:17:12документов, или 4000, или 5000, верно?
00:17:14Существует верхний предел.
00:17:16Приятно то, что вам не обязательно принимать
00:17:19окончательное решение сразу, ведь, как вы видели,
00:17:22внедрить это очень просто.
00:17:24Так что просто экспериментируйте.
00:17:26Если чувствуете, что документов прорва, и думаете:
00:17:28"Эй, не пора ли нам использовать RAG?"
00:17:30Ну, я не знаю, попробуйте.
00:17:32Это не займет много времени.
00:17:34Самая мучительная часть — это процесс эмбеддинга.
00:17:36Это определенно может занять какое-то время, но не критично.
00:17:40И стоимость не безумная, особенно с LightRAG.
00:17:43Если сравнить это с другими системами GraphRAG,
00:17:45такими как Microsoft GraphRAG, то это лишь малая,
00:17:48ничтожная доля стоимости.
00:17:49И при очень больших объемах документов
00:17:52стоимость RAG по сравнению со стоимостью чего-то вроде grep
00:17:56различается примерно в тысячу раз в пользу дешевизны.
00:17:58Прошлым летом проводилось исследование,
00:18:04что использование RAG в подобных ситуациях
00:18:07было в 1250 раз дешевле.
00:18:08Вы можете видеть это прямо здесь: текстовый RAG
00:18:10против текстовой LLM, а также фактическое время ответа.
00:18:14Скажу честно, это данные за июль прошлого года.
00:18:19Так что модели изменились.
00:18:20Я сильно сомневаюсь, что разница все еще такая безумная,
00:18:23если сравнивать RAG со стандартными текстовыми сценариями.
00:18:26И это также была Gemini 2.0.
00:18:28Мы тогда не говорили о Harness.
00:18:29Так что многое изменилось,
00:18:31но изменилось ли все настолько, чтобы сократить разрыв в 1250 раз?
00:18:36Может быть, а может и нет.
00:18:39Я так не думаю.
00:18:40В любом случае, просто попробуйте.
00:18:42Не думаю, что вы много потеряете.
00:18:44Другая особенность LightRAG — это идея о том,
00:18:46что если я захочу загрузить документы...
00:18:48Мы немного говорили об этом ранее.
00:18:49Что нам делать, если у нас есть таблицы, графики,
00:18:53в общем, то, что не является текстом?
00:18:54Может ли LightRAG справиться с этим?
00:18:57Не совсем, но мы можем это исправить.
00:18:59И ответом является "RAG Anything"
00:19:02от тех же самых создателей LightRAG.
00:19:04Это решение, которое, по сути, может быть мультимодальным.
00:19:07И это то, что мы можем практически подключить
00:19:09прямо поверх LightRAG.
00:19:10Не хочу вас разочаровывать,
00:19:13но это останется за рамками сегодняшнего дня,
00:19:15за рамками сегодняшнего видео.
00:19:17Однако в завтрашнем видео,
00:19:18как вы думаете, что мы будем делать?
00:19:19Завтра мы разберем RAG Anything
00:19:22и покажем, как именно его можно интегрировать
00:19:25в то, что мы построили с LightRAG.
00:19:27Так что получится отличная связка.
00:19:28Если вам это интересно,
00:19:31ставьте лайк и подписывайтесь,
00:19:32потому что завтра мы будем это изучать.
00:19:34И на этой ноте
00:19:35мы будем потихоньку закругляться.
00:19:39Надеюсь, вам понравилось.
00:19:41Это также мое первое видео с новым сетапом камеры.
00:19:43С освещением, я уже вижу, что все
00:19:46не совсем так, как мне хотелось бы.
00:19:48Так что прошу прощения за это.
00:19:49Все еще устраняю недочеты,
00:19:50просто рад, что все вообще заработало
00:19:52и камера не перегрелась в процессе записи.
00:19:55Но да, все навыки есть внутри бесплатной школы.
00:19:58Тема с RAG супер интересная, особенно LightRAG.
00:20:01Это отличный продукт.
00:20:02Я пользуюсь им уже довольно долго.
00:20:03Так что на все 100% рекомендую его заценить.
00:20:06И его так легко интегрировать
00:20:07внутри Cloud Code, как вы видели.
00:20:08Так что загляните в бесплатную школу за навыками,
00:20:12а также за промптом, если он вам нужен.
00:20:14Честно говоря,
00:20:15если вы просто направите Cloud Code на LightRAG,
00:20:16он сам все прекрасно настроит.
00:20:19А в остальном,
00:20:20обязательно обратите внимание на Chase AI Plus,
00:20:21если хотите попасть на тот мастер-класс.
00:20:24И до встречи!

Key Takeaway

Связка Claude Code и LightRAG позволяет создать масштабируемую систему GraphRAG, которая обрабатывает тысячи документов в 1250 раз дешевле стандартных методов за счет построения графа сущностей и связей.

Highlights

Система LightRAG позволяет обрабатывать массивы от 500 до 2000 текстовых страниц, что значительно превосходит стандартные возможности поиска через контекстное окно LLM.

Использование GraphRAG в масштабных проектах может быть в 1250 раз дешевле и быстрее по сравнению с обычными методами агентского поиска (grep) за счет эффективной индексации.

LightRAG создает граф знаний, где информация разбивается на сущности (узлы) и отношения (ребра), позволяя ИИ понимать связи между разными документами и идеями.

Для настройки системы требуется Docker Desktop и API-ключ OpenAI для работы с высокопроизводительной моделью эмбеддингов text-embedding-3-large.

Интеграция LightRAG с Claude Code через API позволяет использовать четыре основных навыка: query (запрос), upload (загрузка), explore (изучение) и status (статус) прямо в терминале.

Timeline

Ограничения контекстного окна и необходимость RAG

  • Увеличение контекстных окон современных LLM не отменяет потребность в системах RAG при работе с корпоративными объемами данных.
  • Для обработки массивов из 500-1000 документов требуется архитектура, превосходящая возможности простых промптов.
  • LightRAG представляет собой экономичную альтернативу сложным системам вроде Microsoft GraphRAG.

Даже продвинутые модели сталкиваются с препятствиями при выходе на огромные масштабы данных. Наличие выделенной RAG-системы обходится дешевле и работает быстрее стандартного поиска. LightRAG позволяет использовать концепции графов знаний за ничтожную долю стоимости проприетарных решений.

Механика работы наивного RAG и векторных баз

  • Процесс RAG включает дробление документов на чанки и их преобразование в многомерные векторы через модель эмбеддинга.
  • Поиск ответов основан на косинусном сходстве между вектором вопроса пользователя и векторами в базе данных.
  • Наивный RAG, популярный в 2024 году, уже недостаточно эффективен для сложных аналитических задач.

Документы не просто хранятся, а превращаются в математические точки на графике с тысячами измерений. Система ищет ближайшие по смыслу фрагменты, сравнивая числовые значения векторов. Этот базовый метод извлекает изолированные куски информации, но не понимает общую структуру данных.

Преимущества архитектуры GraphRAG

  • GraphRAG извлекает сущности и определяет типы отношений между ними, создавая визуальную и логическую карту знаний.
  • Система параллельно использует стандартную векторную базу и граф знаний для максимально глубокого поиска.
  • Связи между сущностями позволяют ИИ отвечать на вопросы о том, как идеи из разных документов коррелируют друг с другом.

В отличие от набора разрозненных векторов, граф фиксирует конкретные факты, например, связь между организацией и продуктом. Каждое ребро графа содержит текстовое описание взаимоотношений. Это превращает поиск из простого сопоставления слов в полноценное исследование контекста и логических цепочек.

Техническая настройка и интеграция с Claude Code

  • Claude Code может автоматически клонировать LightRAG и настроить окружение через docker-compose.
  • Для оптимальной работы рекомендуется связка GPT-4o mini и модели эмбеддингов от OpenAI.
  • Веб-интерфейс на порту 9621 предоставляет инструменты для визуализации графа и ручной загрузки PDF или текстовых файлов.

Автоматизация настройки позволяет развернуть систему с помощью одного промпта, указав URL репозитория. Docker обеспечивает изоляцию компонентов и стабильную работу сервера API. Пользователь может взаимодействовать с системой через браузер или полностью перенести управление в терминал через Claude Code.

Экономическая эффективность и масштабирование

  • RAG становится критически важным при достижении порога в 2000 страниц текста (около 1 миллиона токенов).
  • Использование локального или облачного RAG снижает затраты на токены более чем в тысячу раз по сравнению с прямой подачей текста в LLM.
  • Мультимодальные данные, такие как таблицы и графики, требуют надстройки RAG Anything для корректной обработки.

Точка перехода к использованию RAG определяется стоимостью и скоростью генерации ответов. Исследования показывают колоссальный разрыв в цене между текстовым поиском через LLM и индексированным RAG. В будущем система может быть расширена для работы с изображениями и сложными структурами данных через дополнительные модули.

Community Posts

View all posts