00:00:00Andrej Karpathy acaba de nos dar as chaves
00:00:02do seu sistema pessoal de RAG no Obsidian.
00:00:06E eu coloco RAG entre aspas
00:00:07porque esta base de conhecimento poderosa no Obsidian
00:00:10não tem banco de dados vetorial, nem embeddings
00:00:12e nenhum processo de recuperação complicado.
00:00:15Ainda assim, resolve exatamente o mesmo problema
00:00:17que estas estruturas de RAG mais complexas dizem resolver,
00:00:21que é permitir que o nosso modelo de linguagem
00:00:23use grandes quantidades de documentos e responda perguntas
00:00:27e reúna informações precisas sobre eles.
00:00:30E a melhor parte deste sistema baseado no Obsidian
00:00:32é que ele é muito leve, essencialmente gratuito
00:00:36e é o meio-termo perfeito
00:00:38para quem trabalha sozinho ou em uma pequena equipe.
00:00:41Então hoje eu vou te mostrar
00:00:42como funciona o sistema de conhecimento de Karpathy,
00:00:45como configurá-lo você mesmo
00:00:46e como ele difere dos sistemas tradicionais de RAG,
00:00:50para que você saiba se esta é a opção certa para você.
00:00:52O processo pelo qual vamos criar
00:00:54este sistema de conhecimento no Obsidian foi apresentado ontem
00:00:58em um post bem detalhado no Twitter por Andrej Karpathy.
00:01:02A grande lição desse post
00:01:04é que somos capazes de criar
00:01:05bases de conhecimento para modelos de linguagem
00:01:07que agem essencialmente da mesma forma
00:01:09que algo como Light RAG ou RAG Anything,
00:01:12ou qualquer outro sistema de Graph RAG com o Obsidian.
00:01:17E conseguimos fazer isso de uma maneira bem simples,
00:01:20apenas com uma estrutura inteligente no sistema de arquivos
00:01:23e na forma como realmente processamos os dados.
00:01:25O resultado final é que eu consigo processar
00:01:28uma quantidade significativa de dados e documentos
00:01:32no meu cofre do Obsidian e usar o Claude Code
00:01:35para fazer perguntas sobre isso,
00:01:36para descobrir conexões entre diferentes coisas,
00:01:38ou seja, exatamente a mesma coisa que você faria
00:01:41com um sistema de RAG tradicional,
00:01:43mas sem a sobrecarga e com uma configuração muito mais simples.
00:01:46E como o Andrej detalha, a configuração é mais ou menos assim.
00:01:49Primeiro, temos a ingestão de dados.
00:01:51Estamos trazendo artigos,
00:01:52estamos trazendo artigos científicos,
00:01:53estamos trazendo repositórios da internet ou de onde for,
00:01:57e estamos colocando-os em um diretório "raw"
00:02:00dentro do nosso cofre do Obsidian.
00:02:02Esta é essencialmente a área de preparação
00:02:03antes de ser transformado em uma Wiki.
00:02:05Nós, como seres humanos nesta interação,
00:02:07podemos ver tudo isso acontecendo pelo Obsidian.
00:02:10O Obsidian, para todos os efeitos, é o nosso front-end.
00:02:13Aqui é onde posso ver como os documentos estão organizados.
00:02:15Aqui é onde posso ler todas as Wikis.
00:02:17Então não é algo abstraído em uma caixa preta,
00:02:20como acontece em outros sistemas de RAG.
00:02:21É difícil, até em sistemas de Graph RAG como o Light RAG,
00:02:25entrar lá e realmente ver tudo.
00:02:29Digo, eu até posso, mas por mais legal que pareça,
00:02:31isso não é muito eficiente.
00:02:33E a partir daí, você apenas faz o Q&A
00:02:35através de algo como o Claude Code.
00:02:37E como o Andrej explicou aqui,
00:02:38ele esperava que teria que recorrer
00:02:40a algo como o RAG tradicional,
00:02:42mas o modelo de linguagem tem sido muito bom
00:02:43em auto-gerenciar arquivos de índice
00:02:45e resumos curtos de todos os documentos que lê.
00:02:47E isso é algo que nós também poderemos fazer
00:02:49com um arquivo Claude.md bem simples,
00:02:52que eu vou disponibilizar para vocês.
00:02:53E vocês poderão encontrar esse Claude.md,
00:02:55assim como um guia escrito
00:02:56que vem com vários prompts,
00:02:57dentro da minha comunidade gratuita Chase AI.
00:03:00Haverá um link para isso
00:03:01na descrição deste vídeo.
00:03:03E falando na Chase AI, e você já sabia que isso viria,
00:03:06uma rápida propaganda da minha masterclass de Claude Code.
00:03:08Acabei de lançar há algumas semanas,
00:03:09e é o melhor lugar para ir do zero a dev de IA,
00:03:12especialmente se você não tiver uma base técnica.
00:03:15Você encontra o link para isso no comentário fixado.
00:03:18Então não deixe de conferir
00:03:19se você estiver falando sério sobre aprender esta ferramenta.
00:03:22Agora, antes de mergulharmos nos detalhes
00:03:24de como configurar este sistema Obsidian para você,
00:03:28vamos revisar a estrutura de arquivos real,
00:03:30porque é importante entender
00:03:32como os dados entram no nosso cofre
00:03:34e depois são transformados em Wikis.
00:03:36O cofre (vault) do Obsidian é onde tudo reside.
00:03:39Como você verá, se nunca o usou antes,
00:03:41ao baixar o Obsidian,
00:03:42você vai designar uma pasta específica como o cofre.
00:03:45No meu caso, chama-se literalmente "the vault".
00:03:48É lá que tudo no Obsidian fica guardado.
00:03:50Como uma subpasta do cofre,
00:03:52teremos a pasta "raw".
00:03:54A pasta "raw" é onde toda a nossa pesquisa é despejada.
00:03:58Tudo o que queremos incluir manualmente nestas Wikis é colocado lá.
00:04:01Esta é basicamente a pasta de triagem.
00:04:02Então aqui é onde todos os dados brutos serão mantidos.
00:04:05Podem ser arquivos markdown,
00:04:06podem ser PDFs.
00:04:07E eu vou te mostrar como usar o Obsidian Clipper
00:04:10para transformar qualquer página da web em um arquivo markdown
00:04:14que é enviado para a pasta "raw" automaticamente.
00:04:16Teremos outra subpasta,
00:04:18que é a pasta "Wiki".
00:04:19O que o modelo de linguagem vai fazer,
00:04:21o que o Claude Code fará por nós sob demanda,
00:04:24ou você pode até automatizar isso como uma habilidade,
00:04:27é apontar para a pasta "raw" e dizer:
00:04:29"Ei, eu quero que você crie uma Wiki sobre qualquer assunto
00:04:33sobre o qual você tem coletado informações."
00:04:35A partir daí, ele criará uma Wiki sobre isso.
00:04:37Então você pode ver que temos três Wikis diferentes aqui,
00:04:41uma para agentes de IA, uma para sistemas de RAG
00:04:43e uma para criação de conteúdo.
00:04:45Agora, entre a pasta Wiki e essas subpastas de Wiki,
00:04:50está o markdown do índice mestre (master index).
00:04:53Isso é essencialmente apenas uma lista
00:04:54de todas as diferentes Wikis que foram criadas.
00:04:58Porque a ideia é que quando você — este é você —
00:05:02falar com o Claude Code, tudo bem,
00:05:04ali está o Claude Code, e disser:
00:05:06"Ei, eu quero saber mais sobre agentes de IA.
00:05:08Quero fazer perguntas sobre a minha Wiki."
00:05:12Bem, o que ele vai fazer?
00:05:13Ele vai até o cofre,
00:05:15pois você provavelmente já está nele.
00:05:17Ele então vai para a pasta Wiki.
00:05:18Vai para a pasta do índice mestre e pergunta:
00:05:21"Ei, quais Wikis nós já criamos?
00:05:23Ah, ele quer saber sobre sistemas de RAG."
00:05:26Beleza, ele desce até a de RAG.
00:05:28E as próprias pastas de Wiki têm arquivos de índice
00:05:31que detalham todo o conteúdo adicional.
00:05:33Então, o que o Obsidian nos dá
00:05:35e o que esta estrutura de arquivos nos dá
00:05:36é um caminho muito claro para encontrar informações,
00:05:39mesmo que tenhamos uma tonelada delas espalhadas.
00:05:41E isso ajuda o Claude Code
00:05:42porque ele não terá muitos problemas
00:05:45em encontrar os dados.
00:05:46Não vamos precisar de um milhão de chamadas de ferramenta
00:05:48para ver o que há na nossa estrutura de arquivos.
00:05:50Mas também ajuda você, porque fica muito claro onde ir.
00:05:52Por exemplo, aqui à esquerda está minha pasta do Obsidian.
00:05:56Estou na interface do Obsidian,
00:05:57e passaremos pelo download em um segundo.
00:05:59Mas se eu quiser ver uma Wiki, o que eu faço?
00:06:01Eu apenas vou em Wiki.
00:06:03Eu tenho um índice mestre
00:06:04que lista tudo o que tem lá.
00:06:06No momento, são apenas três coisas.
00:06:07Mas se fossem 3.000, ainda não seria tão difícil.
00:06:10E a partir daí, eu posso clicar em algo,
00:06:12o que me leva ao índice daquela Wiki específica.
00:06:16E então posso ver coisas diferentes lá dentro.
00:06:18É simples assim.
00:06:19E é simples assim para a IA também,
00:06:21e é por isso que conseguimos usar
00:06:22essencialmente apenas uma estrutura de arquivos markdown
00:06:24para imitar de certa forma um sistema de RAG.
00:06:27Então, embora essa teoria seja legal,
00:06:28vamos agora ver como configurar isso para você.
00:06:31Primeiro de tudo, você vai precisar baixar o Obsidian.
00:06:33Acesse obsidian.md, clique em "Download Now"
00:06:37e siga o assistente de instalação.
00:06:38É totalmente gratuito.
00:06:40E você vai designar alguma pasta como o cofre.
00:06:43Basta criar uma e chamá-la de "the vault".
00:06:45Isso facilita para mim e provavelmente funcionará para você.
00:06:47Depois de criarmos o cofre,
00:06:49precisamos configurar esta estrutura de arquivos dentro dele.
00:06:52A maneira mais fácil de fazer isso é com o Claude Code.
00:06:54Basta abrir o Claude Code dentro do cofre.
00:06:57Esse é o diretório em que estou.
00:06:59E você vai dar a ele um prompt
00:07:01pedindo para criar esta estrutura de arquivos.
00:07:03Para sua sorte, eu já criei o prompt.
00:07:05Então você pode apenas copiar e colar no Claude Code.
00:07:08Agora, se você for como eu e já estiver usando o Obsidian
00:07:10há algum tempo, provavelmente já tem um monte de pastas
00:07:13lá dentro.
00:07:14Então talvez você não queira chamá-la de "raw".
00:07:17Talvez queira chamá-la de outra coisa.
00:07:18O ponto principal é que você só precisa designar
00:07:20alguma pasta como, como eu disse, a área de espera
00:07:23ou a área de preparação onde toda essa informação
00:07:25será despejada até ser transformada em uma Wiki.
00:07:27Então ajuste conforme necessário.
00:07:28Agora, a próxima coisa que queremos fazer é criar um arquivo Claude.md.
00:07:31Projetos de assistente pessoal, coisas assim
00:07:33que dependem muito de Markdown, são perfeitos para arquivos Claude.md.
00:07:37E este arquivo Claude.md está detalhando
00:07:40as regras da base de conhecimento,
00:07:41bem como a forma de essencialmente percorrê-la.
00:07:43Dessa forma, não desperdiçamos tokens
00:07:44quando fazemos perguntas.
00:07:46Novamente, eu tenho todo esse prompt de template
00:07:50do Claude.md que você pode usar.
00:07:50Este arquivo Claude.md também diz ao Claude
00:07:53como estruturar esses arquivos Markdown.
00:07:55Assim, fica muito fácil navegar pelos arquivos
00:07:58com este formato de Wiki links.
00:08:00Agora vamos falar sobre como podemos trazer as coisas
00:08:02para esta pasta "raw".
00:08:03Como podemos inserir dados em nosso sistema inicialmente.
00:08:06Bem, uma maneira super fácil de fazer isso
00:08:08é com o Obsidian Web Clipper.
00:08:10Eu vou colocar um link para isso na escola,
00:08:13ou você pode ir em obsidian.md/clipper.
00:08:16E esta é apenas uma extensão do Chrome,
00:08:18que torna super fácil transformar uma página da web em dados,
00:08:22em um arquivo Markdown.
00:08:23Agora, o único problema com este Web Clipper
00:08:25é que ele terá dificuldades com imagens.
00:08:26Ele simplesmente não as trará.
00:08:27Ele as manterá como um link.
00:08:29Mas eu quero ser capaz de ver as imagens desses documentos
00:08:31que eu ingiro dentro do Obsidian.
00:08:33Então, o que fazemos?
00:08:34Bem, vamos usar uma habilidade da comunidade Obsidian
00:08:37ou um plugin da comunidade Obsidian para ajudar com isso.
00:08:39Uma das coisas legais sobre o Obsidian
00:08:41são os plugins da comunidade.
00:08:42Existem milhares deles.
00:08:43Se você estiver dentro do Obsidian,
00:08:46estou no aplicativo de desktop agora.
00:08:47Se eu vier aqui embaixo e clicar nesta engrenagem,
00:08:50vou em plugins da comunidade.
00:08:52Vou em "procurar".
00:08:54E então você vai pesquisar por "local images plus".
00:08:56Você vai baixar, instalar e ativar.
00:09:00Certifique-se de que está habilitado.
00:09:01Você pode confirmar que está habilitado
00:09:03indo até a aba de plugins da comunidade
00:09:05e vendo se este botão está ligado.
00:09:08Agora, se usarmos o Obsidian Web Clipper,
00:09:11e eu posso vê-lo aqui como uma extensão,
00:09:13você pode ver o que acontece.
00:09:15Ele puxa tudo imediatamente.
00:09:17E se eu clicar em "adicionar ao Obsidian",
00:09:19consigo ver este artigo inteiro, incluindo as imagens.
00:09:21Agora, há uma coisa que precisamos configurar
00:09:24dentro do Web Clipper,
00:09:25que é garantir que ele realmente puxe os dados
00:09:26para a pasta "raw" automaticamente.
00:09:29Eu não quero ter que fazer isso manualmente.
00:09:30Você vai apenas nas opções do seu Web Clipper.
00:09:34Eu acabei de clicar com o botão direito nele.
00:09:35E aqui à esquerda, onde diz "padrão",
00:09:38eu criei meu próprio novo template,
00:09:39mas você pode manter o padrão se quiser,
00:09:42onde diz localização e "note location" bem aqui.
00:09:47Você vai querer mudar isso de "clippings" para "raw".
00:09:52E isso garantirá que, quando você usar o Web Clipper,
00:09:54ele vá automaticamente para a pasta "raw".
00:09:56Então, agora com a extensão Obsidian Web Clipper
00:09:59e o plugin de imagens da comunidade,
00:10:01podemos transformar qualquer página da web na internet
00:10:04em um arquivo Markdown que será usado em nossa Wiki.
00:10:08Mas esse é apenas um funil de dados.
00:10:10Este é manual.
00:10:11Podemos fazer o Claude Code fazer o trabalho pesado também.
00:10:14Digamos que eu estivesse tentando criar uma Wiki
00:10:16sobre as habilidades do Claude Code.
00:10:17Então eu disse ao Claude Code,
00:10:18"vamos criar uma Wiki sobre as habilidades do Claude Code".
00:10:20Eu já incluí algumas informações na pasta "raw",
00:10:23o que extraímos via Web Clipper.
00:10:25Faça sua própria pesquisa e traga os arquivos MD
00:10:27brutos relevantes para gerar essa Wiki.
00:10:29Então, o que ele vai fazer?
00:10:30Ele vai na internet, usará sua busca padrão da web,
00:10:32e criará sua própria Wiki sobre as habilidades
00:10:36do Claude Code.
00:10:37O que você vê é que esta pasta "raw",
00:10:40todo esse pipeline "raw", é mais para você.
00:10:42É para quando você quer inserir informações manualmente.
00:10:44Você pode fazer o Claude Code fazer isso também,
00:10:46mas o Claude Code também é inteligente o suficiente para analisar
00:10:49a pesquisa,
00:10:50descobrir o que é relevante e criar a Wiki diretamente.
00:10:53Esta pasta "raw" é realmente para você,
00:10:55o ser humano, ter algum nível de organização.
00:10:58E aqui está o que o Claude Code trouxe de volta.
00:10:59Ele criou a Wiki de habilidades do Claude Code.
00:11:02Vemos aqui no índice mestre que ela está referenciada.
00:11:05Se eu clicar nela,
00:11:07isso nos leva ao índice de habilidades do Claude Code.
00:11:10E no momento ela possui quatro artigos.
00:11:12Aqui está o artigo de visão geral das habilidades.
00:11:15Você pode ver que ele aponta para sites e também
00:11:18para diferentes artigos dentro do nosso vault do Obsidian.
00:11:21Se eu clicar em ecossistema de habilidades, há mais coisas.
00:11:25Clico nas principais habilidades, certo? E assim por diante.
00:11:27Há um caminho muito claro de um artigo para outro
00:11:30e como essas coisas se relacionam,
00:11:32o que significa que quando você faz perguntas ao Claude Code
00:11:34sobre esses artigos e esses assuntos,
00:11:35é fácil e barato para ele responder às perguntas,
00:11:39o que nos traz à pergunta óbvia.
00:11:41Nós realmente precisamos de RAG? Sabe,
00:11:43olhamos para algo como essa configuração de LightRAG.
00:11:45Você assistiu aos meus últimos vídeos sobre LightRAG e RAG,
00:11:48e vendo como a configuração é simples com o Obsidian,
00:11:51você provavelmente está pensando: "bem,
00:11:52por que eu me incomodaria com essas configurações
00:11:55mais complicadas?".
00:11:56E a verdade é que, se você é um desenvolvedor solo,
00:11:59um operador solo ou uma pequena equipe que não lida com
00:12:02milhares de documentos,
00:12:04a resposta provavelmente é que o Obsidian faz mais sentido.
00:12:08Ele é leve e você realmente não precisa de RAG.
00:12:11Estes grandes modelos de linguagem,
00:12:12estas ferramentas como o Claude Code são bons o suficiente
00:12:16para o seu caso de uso.
00:12:17E podemos ficar aqui discutindo os detalhes das
00:12:18diferenças entre o RAG do Obsidian e o RAG verdadeiro.
00:12:21Mas a verdade é que o ponto principal é a escala, certo?
00:12:24Estamos tentando escalar para milhões de documentos ou não?
00:12:27Porque em uma certa escala,
00:12:29será mais barato e rápido usar um sistema RAG
00:12:32propriamente dito.
00:12:33Não importa o quão bom o Claude Code seja em navegar nesta
00:12:38rede de arquivos MD que você criou.
00:12:40Mas esta não é uma pergunta que você precise ter a
00:12:42resposta exata imediatamente.
00:12:44Por que você não começaria com algo como o Obsidian?
00:12:47E se ficar claro que sua escala
00:12:48vai muito além do que essa ferramenta pode suportar,
00:12:51então mude para o RAG.
00:12:53Acho que as pessoas ficam muito presas em querer
00:12:55responder a isso agora, mas apenas tente, experimente.
00:12:58Não custa nada usar algum tipo de sistema RAG,
00:13:01um sistema RAG como o Obsidian.
00:13:03E se não funcionar, tudo bem.
00:13:05Então use o LightRAG. Em vez disso,
00:13:06as pessoas querem ficar aqui, como inevitavelmente farão
00:13:09nos comentários, discutindo isso. Apenas tente.
00:13:11Acho que a resposta será bem clara em um certo ponto
00:13:14quando você precisar mudar para um sistema RAG real.
00:13:16Mas o lado bom disso é que, novamente,
00:13:19a maioria das pessoas não precisa de um sistema RAG real.
00:13:21Elas simplesmente não precisam, certo?
00:13:22Mesmo que estejam em uma situação de pequena equipe de negócios.
00:13:24Então, ter um sistema devidamente
00:13:27orquestrado como a base de conhecimento do Obsidian,
00:13:30eu acho que é uma grande vantagem para a maioria das pessoas.
00:13:33Espero que esta análise tenha sido útil para você.
00:13:35Com certeza confira o post do Andre sobre isso.
00:13:37Ele entra em uma boa quantidade de detalhes.
00:13:39Certifique-se de conferir a escola gratuita Chase AI.
00:13:41Há um link para isso na descrição que contém todos os
00:13:43prompts e um passo a passo escrito de como fazer isso.
00:13:47Se você se confundiu em algum momento e, como sempre, veja
00:13:50o Chase AI Plus se quiser colocar as mãos naquela
00:13:52masterclass. Além disso,
00:13:54me diga o que achou e a gente se vê por aí.