O cérebro da sua empresa vai vazar segredos: como impedimos isso para grandes bancos — Tanmai Gopal, PromptQL
AAI Engineer
컴퓨터/소프트웨어경영/리더십
스크립트
00:00:00Certo, todo mundo consegue ver.
00:00:15Olá a todos.
00:00:17Obrigado por estarem aqui.
00:00:18Eu vou falar sobre o fato de que, se vocês decidirem
00:00:23construir um cérebro corporativo, ele provavelmente
00:00:25vai vazar segredos da empresa, o que é basicamente o maior medo
00:00:28que temos sobre construir um cérebro corporativo,
00:00:32que é aquele caso em que o estagiário entra na empresa
00:00:34e de repente tem acesso a detalhes salariais e toda
00:00:36essa situação.
00:00:37Você quer se proteger contra isso.
00:00:40Isso tem sido, eu imagino, praticamente a maior coisa
00:00:43que tem nos impedido de simplesmente implementar o OpenClaw
00:00:47e o Hermes em todos os lugares.
00:00:49É também o motivo...
00:00:50É como aquela grande oportunidade que o ClaudeTag
00:00:52teve com seu lançamento recente há poucos dias, onde
00:00:54ele seria o cérebro da empresa,
00:00:56mas aí todo mundo ficou tipo, bem, ele
00:00:57não... não parece que vai ser o cérebro
00:01:00da empresa, né?
00:01:01Então eu vou falar sobre o que torna isso desafiador.
00:01:03Então, antes de entrarmos nisso, vamos entender e analisar
00:01:07um pouco esse negócio de cérebro corporativo, certo?
00:01:09Eu sou o Tanmay.
00:01:10Sou o CEO e cofundador da PromptQL.
00:01:13Vocês podem conferir a PromptQL depois, mas o histórico da nossa equipe
00:01:18construindo isso é que viemos do Hustle Graph...
00:01:21somos os criadores do motor Hustle GraphQL.
00:01:23É um projeto open source muito popular no espaço do GraphQL
00:01:26onde resolvemos muitos problemas de acesso a dados.
00:01:28Nós o implementamos em todos os lugares, desde a Apple até a Meta e o JPMorgan,
00:01:32entre outros.
00:01:33E isso nos deu muita base para...
00:01:39e uma espécie de relação de amor e ódio com dados
00:01:43e segurança de dados.
00:01:44Então eu vou mostrar coisas em que estivemos trabalhando no último ano
00:01:51e o que aprendemos com isso, para que vocês
00:01:53possam absorver isso, colocar em prática e testar
00:01:56por si mesmos.
00:01:58E, claro, no final da palestra, terei o maior prazer em trocar
00:02:01ideias e ver o que funciona ou o que pode não funcionar para vocês.
00:02:06No último ano, fizemos parceria apenas com um pequeno grupo
00:02:08de pessoas que apresentaram algum tipo de salto em escala.
00:02:12Foram cerca de 15 a 20 pessoas até agora.
00:02:15E agora estamos começando a abrir para outras pessoas.
00:02:17Mas ao longo desse tempo, analisamos três
00:02:20tipos diferentes de públicos com necessidades bem distintas.
00:02:22Você tem empresas nativas de IA que estão dispostas a fazer
00:02:25qualquer coisa, desde que funcione.
00:02:27Você tem empresas inovadoras em tecnologia, como o Instacart,
00:02:30que gostam de tecnologia de ponta.
00:02:33Então eles agem rápido.
00:02:34Eles toleram que algumas coisas quebrem.
00:02:36Mas precisa ser muito, muito bom, certo?
00:02:38E aí você tem bancos da Fortune 100 que têm um nível
00:02:41absurdo de segurança.
00:02:43Ainda bem que têm, porque eles são o meu banco.
00:02:45Eu definitivamente não quero agentes de IA programados por vibração
00:02:48rodando dentro de um banco, porque é lá que meu dinheiro está.
00:02:51Então eles têm muitas regras de segurança.
00:02:54Muito obrigado.
00:02:55Mas estamos implementados em lugares como esses também,
00:02:59com o início ou como o lobo frontal
00:03:01de uma marca corporativa, certo?
00:03:02Então podemos falar sobre esse tipo de aprendizado.
00:03:05O nosso próprio uso pessoal ao construir nosso cérebro
00:03:10corporativo gira em torno de 5.000 páginas.
00:03:13Então nós modelamos isso como uma wiki.
00:03:14Vocês podem modelar do jeito que quiserem.
00:03:16Podem modelar como um conjunto de arquivos markdown no GitHub.
00:03:17Podem colocar em um, lembra do graph frag?
00:03:21Vocês podem modelar em grafos de conhecimento.
00:03:23Podem fazer o que quiserem.
00:03:25Então vocês podem colocar onde preferirem.
00:03:27Mas para nós, são cerca de 5.000 páginas interconectadas.
00:03:32Uma pergunta para vocês.
00:03:33Suponham que vocês tivessem um cérebro corporativo funcionando.
00:03:36Ele estava funcionando bem.
00:03:37Estava todo configurado, certo?
00:03:40Haveria uma quantidade diária de atualizações
00:03:41que aconteceriam nesse cérebro corporativo, certo?
00:03:44Porque ele estaria aprendendo coisas com todo mundo na empresa, certo?
00:03:47Certo?
00:03:47Do financeiro ao RH, passando pelos engenheiros, até todo mundo.
00:03:52Então, se você fosse traçar o número diário de atualizações ocorrendo
00:03:55no cérebro corporativo, com o que ele se pareceria?
00:04:00Pareceria aproximadamente com uma tendência de queda?
00:04:04Tipo, todos estes são gráficos aleatórios.
00:04:05Mas ele começaria e depois cairia?
00:04:09Ficaria meio estável, subindo e descendo conforme as atualizações têm picos?
00:04:12Ou ele aumentaria de forma constante para cima?
00:04:16Pensando nisso, como seria o histórico de commits
00:04:18do repositório de habilidades compartilhadas, certo?
00:04:21Quantas atualizações acontecem em um cérebro corporativo saudável,
00:04:26todo santo dia?
00:04:27Como é essa tendência?
00:04:29Alguém vota na opção A?
00:04:31Alguém acha que é a opção A?
00:04:33OK, legal.
00:04:34Opção B?
00:04:37Opção C?
00:04:39Legal.
00:04:41E aí, quando eu tracei o gráfico do nosso sistema, certo,
00:04:44para ver como é um cérebro corporativo saudável,
00:04:47se você olhar para o número um, basicamente significa:
00:04:50tivemos muito entusiasmo.
00:04:53Construímos o cérebro corporativo no dia um, no dia dois.
00:04:56Demos a tarefa para alguém e dissemos:
00:04:57construa todo o repositório de habilidades compartilhadas,
00:04:59raspe todo o Slack, raspe todos os e-mails, construa,
00:05:02e todos nós vamos usar.
00:05:03E aí ninguém se importa, certo?
00:05:05Ou você tem um sistema que aprende sozinho.
00:05:07Talvez você tenha um Hermes implementado internamente.
00:05:09Então eu olho para isso, onde ele vai adicionando mais
00:05:11e mais comentários.
00:05:12Isso sobe e desce dependendo de quem tem entusiasmo, certo?
00:05:14Certo?
00:05:15E então, quando eu tracei nosso histórico nos últimos dois
00:05:19meses — e isso já está um pouco desatualizado agora —
00:05:22foi isso que nós obtivemos.
00:05:24E eu fiquei um pouco chocado.
00:05:26Eu fiquei tipo, por que isso está aumentando continuamente?
00:05:30Tipo, é uma curva suave, certo?
00:05:32Mas por que está subindo suavemente?
00:05:34Por que o número de atualizações por dia está aumentando?
00:05:38E isso foi fascinante para mim ver.
00:05:39Porque o que eu percebi foi que, se você tem um sistema que começa
00:05:42a funcionar, o que acontece é que as pessoas começam a ensiná-lo muito mais.
00:05:46É como dizer: se eu te ensinei a habilidade de consultar dados, então
00:05:50amanhã eu vou te ensinar a habilidade de interpretar esses dados.
00:05:53E depois, depois de amanhã, eu vou
00:05:55te ensinar a habilidade de como tomar uma ação com base nisso.
00:05:57E depois disso, eu vou descobrir
00:05:59como fazer testes A/B com base em... então as pessoas
00:06:00como você continuam adicionando mais.
00:06:03Mas como tudo é um agente onde nenhuma quantidade de aprendizado
00:06:05é perfeita, tudo tem seu próprio tipo de taxa constante também, certo?
00:06:08Certo?
00:06:08Então as taxas meio que...
00:06:10até suas taxas constantes continuam somando.
00:06:12E foi isso que comecei a notar no nosso projeto também.
00:06:15Isso é cedo, então quem sabe se acabará diminuindo com o tempo.
00:06:18Talvez comece a se parecer mais com a opção B.
00:06:20Mas em um cérebro saudável, é claro, o tamanho geral continua aumentando.
00:06:24Mas até suas atualizações diárias por dia continuam aumentando também.
00:06:28Então esse é o sinal de um bom cérebro que você construiu, certo?
00:06:32Um cérebro saudável que você construiu para sua empresa.
00:06:35Incrível.
00:06:36Então, os casos de uso para o cérebro da empresa é como começamos a analisar como
00:06:39construímos um sistema que não vai vazar segredos, certo?
00:06:42Então, dois casos de uso.
00:06:44O primeiro caso de uso é que existe um cérebro da empresa.
00:06:48Eu quero usá-lo na minha IA, agente, o que for, para realizar o trabalho, certo?
00:06:55Vou te mostrar um exemplo disso, certo?
00:06:56É como se eu recebesse um e-mail com um questionário de segurança
00:06:59que preciso responder de um cliente.
00:07:00E eu converso com minha IA e digo: consulte o cérebro da empresa
00:07:03e me ajude a responder o questionário de segurança, certo?
00:07:05Portanto, esse é um caso de uso totalmente válido para o cérebro da empresa.
00:07:08Segundo, um caso de uso muito útil, certo?
00:07:10Porque é o conhecimento de outras pessoas que está chegando até mim.
00:07:14O segundo caso de uso do cérebro da empresa é meio parecido com o que o cloud tag é,
00:07:18essa ideia de multijogador.
00:07:21E se você tem colocado agentes dentro do Slack em lugares onde várias pessoas
00:07:25podem interagir com ele, tem sido usado como uma IA compartilhada, certo?
00:07:29É como realizar tarefas.
00:07:32E um exemplo disso poderia ser o gerenciamento colaborativo de incidentes, certo?
00:07:36Então, por exemplo, você quer dizer: ei, quero buscar logs.
00:07:40Quero investigar o... há um incidente.
00:07:42Vá buscar alguns logs, investigue a base de código, abra o PR, faça o deploy em staging,
00:07:46faça o deploy em produção, configure um alerta, certo?
00:07:48Você quer que várias pessoas façam coisas com o cérebro da empresa.
00:07:51Portanto, esses são dois casos de uso do cérebro da empresa.
00:07:53Um é esse caso de uso de conhecimento compartilhado e colaborativo,
00:07:56e o outro é o caso de uso de IA compartilhada em si, certo?
00:08:00Ambos têm um enorme problema de segurança, por assim dizer, certo?
00:08:06Então, para começarmos a protegê-lo, vamos definir isso um pouco mais fortemente, certo?
00:08:15Então, o que exatamente é um cérebro da empresa?
00:08:18E esta é a minha definição dele, certo?
00:08:20É um contexto compartilhado que você colocaria em markdown,
00:08:23que você colocaria em um conjunto de arquivos markdown, certo?
00:08:26E são regras de controle de acesso para os diferentes dados e ferramentas
00:08:29aos quais você deseja acessar, conforme fornecido a um agente de programação.
00:08:34Então é isso que estou chamando para...
00:08:38como estou falando, posso definir o que eu quiser.
00:08:41Essa é a minha definição.
00:08:42Portanto, não estou dizendo que este é um conhecimento que é puxado para um LLM
00:08:46que fará chamadas de ferramentas, certo?
00:08:48Não é uma IA que está fazendo coisas de propósito geral.
00:08:51É uma IA que é um agente de programação resolvendo qualquer problema que você jogue nela, certo?
00:08:56Um pouco semelhante à... um pouco da palestra anterior que vocês devem ter ouvido,
00:09:00que é essa ideia de: podemos simplesmente usar um agente de programação para resolver problemas gerais?
00:09:04É isso, certo?
00:09:05No caso mais trivial, se você disser: ei, escreva um tweet para mim, você está escrevendo um pequeno script que está fazendo uma chamada de IA para escrever um pequeno tweet, certo?
00:09:13Você provavelmente não precisa fazer isso.
00:09:14A própria IA pode simplesmente devolver o tweet para você.
00:09:17Mas, essencialmente, o Claude Code sendo usado para tudo.
00:09:20O Claude Co-work tem a mesma arquitetura.
00:09:22O aplicativo Codex tem a mesma arquitetura, que é a percepção de que você pode usar agentes de programação para resolver problemas de propósito geral.
00:09:28Então estamos construindo o cérebro para isso.
00:09:30Não estamos construindo um grafo de conhecimento gigantesco, uma base de conhecimento para a empresa e tentando protegê-la.
00:09:34Isso, de qualquer forma, não... não funcionou — não vai funcionar.
00:09:39Portanto, em termos de como queremos abordar o design do cérebro da empresa, certo, devemos construir um cérebro da empresa?
00:09:50Então, se você é uma empresa e é pago para cruzar os braços, você gosta dessa ideia de construir um cérebro da empresa.
00:09:57Porque você pensa: sim, deixe-me assumir um projeto de dois anos e construirei o cérebro da empresa para o J.P. Morgan.
00:10:02Isso não vai acontecer.
00:10:03Você mal consegue construir um cérebro da empresa para uma organização que tem, digamos, 100 anos, certo?
00:10:07Você mal consegue construí-lo para sua própria família, certo, que pode ter apenas meses ou anos, certo?
00:10:13Portanto, a ideia e a maneira como queremos construir um cérebro da empresa é que queremos que cada pessoa que faça um pouco do trabalho na empresa seja proprietária e construa sua parte do cérebro da empresa, certo?
00:10:23Essa é a maneira como devemos construí-lo.
00:10:25Essa é a restrição número dois que estou colocando.
00:10:27A primeira foi a definição do cérebro da empresa, e a segunda é a abordagem que queremos adotar de como o cérebro da empresa é construído.
00:10:33Eu gosto dessa forma de expressar, que é: vamos cultivar um cérebro da empresa, não vamos construí-lo, certo?
00:10:41Vamos deixá-lo se formar.
00:10:43Deixar que ele se forme.
00:10:44O sistema precisa se juntar organicamente, caso contrário, é impossível de construir.
00:10:47Tudo bem.
00:10:48De modo geral, queremos permitir que cada pessoa faça por si mesma sua parte do cérebro da empresa, e estes são, portanto, os vários passos que você deve seguir.
00:10:57Voltarei a isso com mais detalhes se tivermos tempo, mas vamos começar com um caso de uso específico, certo?
00:11:03Portanto, neste caso de uso específico, o que tenho é este tipo de situação em que este é o exemplo tangível que quero trazer para vocês.
00:11:12Eu recebi um e-mail, apenas um exemplo de questionário de segurança, certo?
00:11:15Ei, recebi um e-mail do Dave da Stitch Fix, e há um monte de perguntas que quero responder, certo?
00:11:20Então ele puxa meu e-mail, diz que o e-mail tem uma captura de tela do onboarding de segurança deles, e então começa a responder a essas perguntas, certo?
00:11:30Eu não tenho ideia de como ele soube.
00:11:32Fiquei muito surpreso ao ver que ele respondeu a todas as perguntas sobre: ei, este é o nosso centro de confiança, é assim que nossa parte de segurança se parece, eles têm um gateway, certo?
00:11:40Ele faz alguma coisa.
00:11:41Tudo isso está vindo do cérebro da empresa, certo, que é a resposta para isso, e então eu sigo em frente e penso: ei, vá em frente e envie isto.
00:11:50Eu gostei deste rascunho, vá em frente e envie este rascunho para o Dave, certo?
00:11:53E então ele vai e envia esse e-mail, um exemplo realmente simples do que quero fazer.
00:11:57Agora, o desafio aqui, certo, e o problema é: como construímos um sistema, certo, para o qual outra pessoa possa contribuir e que uma terceira pessoa use?
00:12:13Como esse conhecimento sobre o que nossa política de segurança é chegou aqui?
00:12:18Provavelmente outra pessoa estava trabalhando no mesmo questionário de segurança, certo?
00:12:22Então eles tinham, digamos, um agente Hermes ou algo assim.
00:12:24Eles estavam trabalhando nisso.
00:12:25Você salvou alguma memória automaticamente.
00:12:27Talvez alguém tenha anotado uma habilidade.
00:12:28De alguma forma, essa parte tem que chegar ao meu agente de IA.
00:12:32Como vamos tornar isso possível, certo?
00:12:35Agora, vamos tentar a primeira coisa óbvia, certo, que é todo mundo escrever habilidades compartilhadas uns para os outros no GitHub.
00:12:42Então, da primeira vez que o questionário de segurança foi respondido pelo seu pessoal de segurança — todo mundo imaginou o seu pessoal de segurança e conformidade na cabeça, certo?
00:12:50Agora, imagine que eles, após responderem ao questionário... é chato responder a questionários.
00:12:56Depois de responder a essa planilha de Excel gigantesca de questionário, eles foram para o GitHub e atualizaram uma habilidade compartilhada, certo?
00:13:04Muitos de vocês têm a sorte de trabalhar com pessoas que parecem moldadas à imagem de Nosso Senhor e Salvador Cristo, que são tão legais e vão lá atualizar habilidades compartilhadas em um repositório do GitHub, certo?
00:13:16A maioria das pessoas não vai.
00:13:18Ninguém vai escrever habilidades para outra pessoa no GitHub.
00:13:24Tipo, isso não é algo natural para nós, certo?
00:13:27No dia a dia do trabalho, nós de repente não decidimos que, uau, isso pode ser muito útil para outra pessoa que eu nem conheço, com quem não estou conectado nesta situação no futuro.
00:13:39Não vai acontecer.
00:13:40Eu mal consigo gerenciar minha própria memória e meu contexto.
00:13:44Eu não tenho tempo para enviar para outra pessoa, para anotar para outra pessoa.
00:13:49Segundo, em vez de ter um cérebro da empresa, por que não fazer um cérebro da equipe?
00:13:53Por que vocês todos não usam um compartilhado?
00:13:55Por que a equipe de segurança não usa um silo mais compartilhado onde vocês podem fazer isso, certo?
00:14:01Então, crie um agente e faça com que ele salve na memória por conta própria, certo?
00:14:04E essa é mais ou menos a arquitetura que imagino que muitos de vocês tenham, com algo como o Hermes adicionado ao Slack.
00:14:09Alguém tem algum tipo de situação de cérebro de equipe onde você tem uma IA que várias pessoas usam que salva memória e adiciona contexto automaticamente?
00:14:18Alguém tem algum tipo de habilidade que já faz isso, apenas para uma pequena equipe?
00:14:23Uma. Mais alguém? Ok.
00:14:24Ok, alguns de vocês têm isso. Isso é legal.
00:14:26Isso é bom, mas o problema é que ainda não é um cérebro da empresa porque ainda está isolado, certo?
00:14:31Então é como mais um silo, certo? Como, por exemplo, se isso for feito, tipo, com o claw tag, ele tem uma memória por canal, certo?
00:14:40Então, em cada canal, ele é salvo, mas agora é outro silo naquele único canal, certo?
00:14:46Então agora está, novamente, trancado em um lugar que não pode ser usado em nenhum outro lugar.
00:14:50Portanto, se alguém fosse adicionado ao canal, funcionaria, mas caso contrário não funcionaria, certo?
00:14:55E esta é a terceira opção.
00:14:59A terceira opção é dizer que todo o contexto vai para uma única wiki compartilhada.
00:15:06Uma wiki é um conjunto de arquivos markdown, e arquivos markdown podem se conectar uns aos outros.
00:15:08Então imagine uma pasta gigantesca.
00:15:10A pasta tem vários arquivos markdown, certo?
00:15:13E os arquivos markdown podem se vincular uns aos outros.
00:15:16Portanto, todo o contexto, em vez de salvá-lo dentro de uma pasta ou isolá-lo,
00:15:21você o coloca em um arquivo markdown, o equivalente a um arquivo markdown,
00:15:25e permite que ele se conecte com os outros.
00:15:28A segunda coisa que você faz é permitir que cada arquivo tenha escopos
00:15:33sobre quem pode ter acesso de leitura e escrita a esse arquivo.
00:15:38A terceira coisa que você faz, que é a mais importante,
00:15:42você não deixa o agente adicionar a memória automaticamente.
00:15:49Você não deixa adicionar automaticamente porque, se adicionar automaticamente, você faz ideia do que aconteceu, certo?
00:15:55Você não pode -- voltamos ao mesmo mundo onde algumas coisas estão sendo adicionadas,
00:16:00e desde que você esteja na memória desse agente, você tem sorte, certo?
00:16:04Portanto, a terceira coisa que você faz é, em vez de deixar o agente adicionar automaticamente,
00:16:07faça algo que permita ao seu agente sugerir o que é adicionado com quais escopos,
00:16:16e então faça com que o humano aceite ou rejeite.
00:16:21Portanto, não é tão pesado quanto o GitHub, onde eu tenho que ir e escrever isso, atualizar uma habilidade compartilhada,
00:16:28fazer uma revisão de PR e depois fazer o merge.
00:16:30Mas também não é tão aleatório quanto a memória sendo escrita automaticamente pelo agente,
00:16:36certo? É o ponto ideal onde, enquanto você está trabalhando,
00:16:40você o exibe, sugere os escopos certos e deixa alguém adicionar.
00:16:45Então agora o que acontece é que, com essa adição muito simples, certo, você consegue permitir que as pessoas adicionem
00:16:51a uma wiki gigantesca, mas você permite que essa pessoa assuma a responsabilidade pelo que ela pode ver ou não.
00:16:57Então, se estou adicionando algo à wiki de finanças, quero ter certeza -- estou adicionando algo
00:17:01que é sensível, quero ter certeza de que tem um escopo de finanças.
00:17:03Se estou adicionando algo pessoal, quero ter certeza de que é um escopo pessoal.
00:17:06Deixe-me mostrar um exemplo de UX de como isso pode ser. É isso que fazemos.
00:17:15Este é um e-mail recente que recebi de um dos nossos representantes de vendas me adicionando a uma chamada.
00:17:33Eu olhei para esse e-mail, ajudei a respondê-lo e então recebi uma pequena caixa que sugeria
00:17:39vários pontos que me diziam o que ele vai adicionar, certo?
00:17:43E quando clico em adicionar à wiki -- e agora é muito mais fácil para eu revisar o que está sendo adicionado.
00:17:47Eu não me importo. Eu não me importo se for adicionado a este arquivo markdown, àquele arquivo markdown,
00:17:52quais links o agente cuida. O que me importa é: esses fatos estão corretos?
00:17:58Se esses fatos estiverem corretos, vou clicar em adicionar à wiki e pronto, certo?
00:18:02E durante o momento de adicionar à wiki, posso escolher quais escopos precisam ser adicionados por página da wiki ou não,
00:18:08certo? Portanto, cada página da wiki em si pode receber um determinado conjunto de escopos que você deseja decidir
00:18:12quem tem acesso a quê, por exemplo, certo? Então, por exemplo, meu e-mail, esta é a página da wiki
00:18:17que eu tenho para meus e-mails e como meus e-mails são priorizados, e agora posso decidir quem tem acesso
00:18:22a isso, quem são os proprietários disso e qual é o RBAC para isso. Então, como o sistema será
00:18:26depende de vocês, mas a ideia central é que você quer fazer o agente sugerir uma alteração
00:18:32em vez de fazer a alteração. Muito bem. Então, duas regras. Uma, certifique-se de que tudo vá para uma única
00:18:38wiki de toda a empresa, não recuse esta regra. Segundo, certifique-se de que, como parte disso,
00:18:44cada alteração seja apoiada pelo nome de um humano. Nada deve ser permitido dentro da wiki como 'Claude adicionou'
00:18:51isto, ou 'seu agente de IA adicionou isto' ou 'Hermes adicionou isto'. Não, Tanmay adicionou isto. Esse nome precisa estar
00:18:57lá para que você possa relacioná-lo com a pessoa que estragou tudo e permitiu que todos vissem,
00:19:04tipo, a remuneração de todo mundo, certo? E, tanto faz. Agora você pode tomar uma medida corretiva,
00:19:09certo? Seja o que for. Coloque-os em um PIP. Você não sabia como editar uma wiki. Então isso é muito,
00:19:14muito importante. E a regra número dois, uma vez que você decida isso, você pode passar para o segundo escopo de,
00:19:19ok, você tem que tornar mais fácil para eles fazerem isso, que é onde entra esse negócio de escopos,
00:19:23onde você quer escopar cada arquivo de acordo com quem tem acesso. Você vai construir algum tipo de sistema
00:19:26ao redor disso. É assim que se parece um diagrama de arquitetura disso, onde você tem usuários,
00:19:32os usuários falam com o agente. O agente, quando está lendo o contexto, usa as declarações daquele usuário específico, certo?
00:19:39Então, se estou lendo algo para resolver um problema financeiro, ele está usando a declaração financeira para ler como
00:19:46eu, porque eu tinha acesso à wiki financeira, então posso lê-la e isso é feito todas as vezes,
00:19:52certo? Portanto, o agente está sempre usando a credencial do usuário para ler a parte certa da wiki.
00:20:00Muito bem. Estou praticamente sem tempo para o segundo caso de uso. Então o que vou fazer é dar a vocês
00:20:06um gostinho rápido do segundo caso de uso, mas estenda essa ideia. Este é o caso de uso principal. Este é tipo,
00:20:13este é o grandioso caso de uso. Este é um caso de uso realmente complicado porque agora
00:20:17não é apenas uma pessoa respondendo a um e-mail. É um grupo de nós usando o contexto compartilhado
00:20:25para resolver um problema com vários níveis diferentes de escalonamento de privilégios ao mesmo tempo,
00:20:31certo? E essas são o tipo de, essas são as interações com a IA onde a maior
00:20:36quantidade de conhecimento do cérebro da empresa é criada, certo? Por exemplo, vou mostrar um exemplo rápido da vida real
00:20:42de como isso se parece para nós. Então este é um caso de uma situação de SRE onde
00:20:50alguém disse: 'Ei, nosso aprendizado automático, nosso aprendizado de wiki', de forma bastante meta, estava falhando. Não estava
00:20:57funcionando. O que está acontecendo?' Certo? E então ele começa a fazer a investigação e é péssimo porque,
00:21:02ele não tinha uma habilidade. Falhou. Então é tipo: 'Meu, não faça isso. Por favor, use este nome de span do OpenTelemetry'.
00:21:07Usou um nome de span do OpenTelemetry. Ele fez um trabalho um pouco melhor, mas ainda estava muito lento. Então
00:21:13ele olhou para o código e disse: 'Ah, você está usando uma consulta like. Você é um idiota'.
00:21:18Este é o opus 4.5. Tipo, não faça isso, certo?' Então ele diz: 'Não use uma consulta like,
00:21:24use uma consulta equals'. Certo? E então ele faz a consulta equals e traz alguns detalhes à tona e,
00:21:29e então ele diz: 'Ah, cavue mais fundo nisso'. E ele diz: 'Tanto faz, esta é a linha de código de onde o
00:21:33erro está vindo'. Coisa simples, certo? É aqui que ele traz algum conhecimento à tona e diz:
00:21:39'Aha, aprendi que devo usar equals e não like, certo? Aprendi que se você tiver um prefixo personalizado
00:21:45adicionado aos nomes das páginas da wiki, isso pode causar problemas, certo?' Então ele oferece esses aprendizados
00:21:50que você pode escolher aceitar. Então ele meio que foi cavar mais fundo no que era o problema.
00:21:56Alguém mais entrou na conversa, certo? E disse: 'A decisão técnica que tomamos aqui é
00:22:02errada. Por que isso está acontecendo?' E agora duas pessoas começam a ter uma discussão, certo? Elas têm uma discussão.
00:22:09Dizendo: 'Ei, não deveria ser assim. Deveria ser assim. Mas por que é assim? Mas deveria
00:22:12ser assim, certo?' Essa discussão cria conhecimento porque o problema real era que alguém tomou
00:22:17uma decisão técnica que não estava documentada, certo? Quando eles decidem corrigir esse problema, e
00:22:22observam que essa é realmente a causa raiz, e decidem que é assim que vai ser corrigido.
00:22:26'Ei, devemos remover esse prefixo que está causando um problema', seja lá qual for a coisa,
00:22:31isso cria o contexto da mais alta qualidade para ser adicionado ao seu cérebro. Porque a sugestão anterior era
00:22:38dizer, 'ah, as páginas não devem ter', páginas têm um prefixo, mas o fato de as páginas terem um prefixo é um problema.
00:22:44Certo? Então agora a coisa que você está documentando no cérebro é: as páginas não devem ter um prefixo.
00:22:49Se elas tiverem um prefixo, isso pode causar problemas de busca em produção. Isso acontece quando várias pessoas conversam entre si
00:22:54e resolvem problemas juntas. É isso que acontece em uma thread do Slack quando duas pessoas conversam entre si
00:22:59e resolvem um problema. Isso cria o contexto de mais alta qualidade. Mas, e então é mais ou menos o que
00:23:05você quer aqui. Mas o desafio é que a escalada de privilégios em torno disso se torna muito,
00:23:10muito séria. Se você está construindo um agente que pode fazer tudo cercado por várias pessoas,
00:23:18isso é assustador. Porque o engenheiro tinha permissão para fazer o trabalho de PR, mas agora posso usar o mesmo agente para
00:23:23fazer deploy em produção. Isso é assustador demais. Eu não posso ter uma conversa onde depuro e
00:23:29faço deploy com segurança, certo? Especialmente se você estiver em um banco, certo? Tipo, as pessoas que estão depurando,
00:23:35fazendo deploy em staging, configurando um alerta e fazendo deploy não são as mesmas. Mas ser a mesma coisa tem
00:23:40muito valor porque é aí que está todo o conhecimento, certo? E isso nos leva à
00:23:45segunda arquitetura, na qual não vou entrar em muitos detalhes. Mas pense nisso como a mesma
00:23:49ideia em que credenciais e declarações de usuário foram usadas para ler o contexto. Em vez disso, use também as credenciais do usuário.
00:23:58Certo? Quando o código estiver executando ferramentas. Portanto, nunca armazene credenciais no sandbox.
00:24:05Em vez disso, na camada HTTP, na camada SQL, injete as credenciais do usuário, permitindo que a IA se comporte como
00:24:13o humano em uma interação específica, certo? Portanto, há detalhes interessantes aqui. Mas é isso que
00:24:20permite que uma IA compartilhada funcione com contexto compartilhado, certo? E essas são as duas peças principais
00:24:25com as quais trabalhar. Então eu resumiria, e esta arquitetura não é particularmente complicada, mas é muito simples
00:24:30trabalhar a partir destas duas regras. Não armazene credenciais no sandbox em nuvem. E segundo,
00:24:36virtualize todas as interações com dados reais, faça proxy delas, virtualize-as, qualquer palavra que você queira usar,
00:24:41e deixe os usuários controlá-las. Portanto, o usuário que adiciona uma ferramenta específica deve controlar quem tem acesso
00:24:48a essa ferramenta específica. Assim, você pode deduzir tudo isso se apenas seguir estes quatro princípios
00:24:53e trabalhar de trás para frente a partir disso. Há apenas uma arquitetura possível que faz sentido
00:24:58em como você gerencia o contexto, quais restrições você define, como você gerencia ferramentas e quais regras de segurança
00:25:02você define. Meu tempo acabou. E estou feliz em conversar mais depois da palestra. Também temos um estande,
00:25:10então fiquem à vontade para conversar mais sobre as nuances dessa arquitetura. Sou o Tanmay Goh no
00:25:16Twitter. Nós nos chamamos PromptQL. Dêem uma olhada. No fim das contas, com a comunidade de engenharia de IA,
00:25:24vamos fazer o lançamento de um produto. E adoraria compartilhar isso, pessoal, compartilhar isso com todos.
00:25:30Vou tirar uma foto com todo mundo no palco para poder compartilhar. Deixem-me fazer isso enquanto estou aqui.
00:25:40Muito bem. O pessoal quer dizer xis?
00:25:45Muito obrigado. Então fiquem de olho nisso. É a nossa abordagem para o Cloud Tag, que é o PromptQL Tag,
00:25:52que é muito semelhante às ideias sobre as quais conversamos aqui, exceto que você não está preso ao Cloud.
00:25:57Você pode usar o GLM, pode usar o GPT, e então o Sol é lançado, e podemos usá-lo e nos divertir muito.
00:26:03Portanto, dêem uma olhada nisso. E do mais, vejo vocês em breve.
00:26:19Voltamos já.