Da Ingestão aos Agentes: Como Equipes de IA Constroem sobre Inteligência Documental — Adit Abraham, Reducto
Transcript
00:00:00Olá, todos conseguem me ouvir? Ótimo. Temos apenas 20 minutos aqui, então quero ir direto ao ponto.
00:00:20Meu nome é Deet, sou cofundador e CEO da Reducto, e hoje queremos falar
00:00:25sobre uma das partes realmente práticas, mas talvez menos atraentes, da construção de agentes que realmente funcionam no mundo real: os dados. Tenho certeza de que vocês já viram várias palestras sobre dados hoje. Nosso foco principal tem sido construir infraestrutura para quem trabalha com algumas das fontes de dados mais difíceis, que são imagens não estruturadas, PDFs, planilhas, tudo o que os humanos estão acostumados a usar no dia a dia. Alguém aqui já usou ou testou a Reducto? Legal.
00:00:55Acho que um contexto útil para começar é que somos uma plataforma agêntica de processamento de documentos. Ajudamos muitas das principais equipes de IA do mundo a construir tanto aplicações de IA quanto fluxos de trabalho, dependendo do objetivo deles.
00:01:08Isso inclui muitas das nativas em IA que vocês provavelmente viram hoje. Inclui as Harveys, Ligors e Rogos do mundo, mas também algumas das maiores empresas globais. E acho que esse é um contexto importante para o que vamos discutir.
00:01:19Trabalhamos com as maiores empresas de tecnologia, instituições financeiras globais e seguradoras, organizações que possuem décadas de dados históricos que, até então, eram muito difíceis de usar além de um contexto de demonstração.
00:01:34E, entre todas essas empresas, até o momento, já processamos bilhões de documentos para nossos clientes. Fiquei um pouco acomodado com aquele símbolo de mais no final, mas o número continua mudando, então vamos deixá-lo ali.
00:01:46Mas o principal que aprendemos com tudo isso, e no qual quero focar hoje, não é exatamente o produto da Reducto em si.
00:01:51São as complexidades do que aprendemos, que espero que vocês possam levar para casa e aplicar no trabalho que realizam.
00:01:58E acho que grande parte do nosso trabalho e dos nossos aprendizados se enquadra no contexto temático mais amplo de que o escopo das aplicações de IA mudou muito recentemente.
00:02:07Passamos de simples produtos de síntese de informação para agentes reais executando tarefas.
00:02:13E, com isso, percebemos que há alguns pontos que valem a pena ser discutidos.
00:02:16Um deles é enquadrar o próprio problema, o gargalo que as pessoas enfrentam e por que os PDFs em particular são difíceis, embora você provavelmente tenha visto dezenas de lançamentos de processamento de PDF no Twitter.
00:02:26Onde encontramos pontos fortes e fracos em diferentes ferramentas.
00:02:31Acreditamos que há o momento e o lugar certos para a visão computacional tradicional versus VLLMs.
00:02:35E, mais interessante ainda, acho que a segunda metade desta palestra focará na próxima fronteira.
00:02:40O que vimos ser possível graças à inclusão de agentes no processo.
00:02:43Coisas que descobrimos como resultado do uso de estruturas de teste para diferentes tipos de tarefas.
00:02:47E nossos aprendizados sobre avaliações à medida que você migra do RAG para a criação de produtos agênticos.
00:02:53Mas vou começar com o primeiro ponto, algo que imagino ser bastante batido.
00:02:58Se você estivesse num evento de Engenharia de IA há alguns anos, a palavra mais ouvida em todas as palestras seria RAG.
00:03:04E todo mundo estava construindo algum tipo de aplicação baseada em RAG.
00:03:07Por um tempo, todas as aplicações eram basicamente formas de síntese de informação, certo?
00:03:12Você extraía informações de algum contexto, fosse um prompt perfeito ou um arquivo enviado pelo usuário.
00:03:19E criava algo parecido com um produto de busca.
00:03:22Você tinha busca corporativa.
00:03:23Você tinha um chatbot que fazia perguntas e respostas simples sobre o conteúdo.
00:03:27E era isso.
00:03:28Mas hoje, o termo do momento que você provavelmente já ouviu um milhão de vezes é agentes.
00:03:34E, para os engenheiros aqui, vocês provavelmente já usaram o Claude Code ou uma ferramenta similar para realizar o trabalho ponta a ponta de muitas tarefas.
00:03:41E esse mesmo tipo de mudança está começando a acontecer em todos os tipos de trabalho corporativo.
00:03:46Seja nas áreas de finanças, seguros ou saúde, as pessoas estão começando a tomar decisões autônomas.
00:03:51Elas estão tentando criar produtos de trabalho completos, não apenas responder a perguntas de um PDF, mas também gerar e modificar PDFs.
00:03:58E essa é uma abordagem muito diferente.
00:04:00As ferramentas necessárias e os problemas enfrentados mudam bastante em comparação a apenas tentar construir uma plataforma de busca.
00:04:06E o ponto central de tudo isso é que resolver esse problema se torna ainda mais crucial quando você começa a ter esses fluxos de trabalho em várias etapas.
00:04:18Se você está apenas fazendo perguntas e respostas, obviamente existe um risco associado apenas ao ato de responder à pergunta.
00:04:24Mas quando os agentes tomam múltiplas decisões que se acumulam ao longo de um conjunto de arquivos, ao extrair várias fontes de dados, o risco de entradas incorretas torna-se extremamente nocivo no seu fluxo.
00:04:36E é nisso que nos concentramos.
00:04:38Porque, no final das contas, grande parte do valor das ferramentas de modelos de linguagem no mundo real só se aplica no contexto em que você emprega essa inteligência.
00:04:48Portanto, para muitas empresas, os dados são não estruturados, dispersos e multimodais.
00:04:53Eles não ficam num repositório perfeitamente organizado.
00:04:56Existem equipes aleatórias e diferentes departamentos que armazenam arquivos no Google Drive, no Box e em qualquer outro lugar.
00:05:04Você terá formatos de dados que são não estruturados por padrão.
00:05:07Você não sabe necessariamente o que há no seu acervo de informações.
00:05:11E você enfrentará todos os tipos de problemas decorrentes disso nas etapas seguintes.
00:05:14Alguns dos problemas envolverão a precisão da análise e da extração, o que definitivamente importa.
00:05:18Mas também envolverá questões como saber se você está recuperando o contexto correto.
00:05:22Envolverá a forma como você realmente interage com esse contexto e aplica modificações a ele.
00:05:27E o ponto que você provavelmente ouviu a Reducto e outros no setor insistirem é que PDFs, surpreendentemente, ainda são um problema muito difícil.
00:05:36Não sei se vocês acompanham o Surge, que é um laboratório de dados que trabalha com muitas das empresas de modelos fundamentais.
00:05:42Eles têm um benchmark excelente chamado GDP PDF, onde até mesmo o Fable, o ápice atual da inteligência de modelos, atinge cerca de 30% em seu teste.
00:05:52E tudo se baseia na ideia de saber se conseguimos fazer com que os modelos analisem e tomem decisões a partir do conteúdo de documentos como PDFs.
00:06:01E a razão pela qual eles são difíceis — e voltarei a esse benchmark em um segundo — é que, fundamentalmente, o PDF como formato de arquivo é muito antigo e foi projetado em um contexto totalmente diferente.
00:06:11Eu genuinamente conheci pessoas que trabalham com processamento de PDF há mais tempo do que estou vivo.
00:06:16Conheci as pessoas que trabalhavam em drivers de impressora para imprimir PDFs no início dos anos 1990.
00:06:21E era para isso que servia.
00:06:22A ideia era representar fielmente o que estava nos documentos no momento da criação e garantir que fossem impressos do mesmo jeito no final.
00:06:30Muitas das considerações de hoje não têm nada a ver com isso.
00:06:33No fim, o que queremos é algo como uma representação em markdown, algo que os agentes consigam interpretar com eficiência.
00:06:39E, no mundo real, os humanos codificam muito contexto visualmente.
00:06:44Tipo, o analista financeiro médio que recém-saiu da faculdade em seu cargo de IB não fica pensando se os agentes vão consumir essa apresentação.
00:06:54Eles criam slides super criativos.
00:06:57Tenho certeza de que você já viu os slides do SoftBank com a gansa botando ovos.
00:07:01Esses detalhes importam.
00:07:02Certo?
00:07:03Tipo, muitos dos dados que você vai analisar serão estruturas em tabela que talvez não tenham linhas de grade limpas e células mescladas separadas.
00:07:10Você terá coisas como gráficos de linha e diagramas.
00:07:12Haverá letras cursivas desordenadas que até eu, como humano, muitas vezes teria dificuldade para ler.
00:07:17E esse é o tipo de problema que você precisa resolver se estiver lidando com essa cauda longa.
00:07:22E nós fundamos a empresa em 2023 porque sentimos que havia uma mudança de patamar no que era possível aqui.
00:07:29Por um tempo, quando as pessoas pensavam em qualquer tipo de processamento de PDF, costumava ser alguma versão modificada de um pipeline de PLN.
00:07:37Você fazia uma passagem simples de OCR e depois tentava pós-processar aquele texto.
00:07:41E isso funcionava quando você tinha layouts muito consistentes.
00:07:44Certo?
00:07:45Tipo, se você sabia que um formulário W2 sempre teria a mesma cara, esse é um espaço de problema restrito para o qual você pode criar modelos.
00:07:51Mas os VLMs são interessantes porque são fundamentalmente horizontais por natureza.
00:07:56Pela primeira vez, você pode ter essa premissa de ler o documento da mesma forma que um humano leria.
00:08:01Você pode ter essa premissa de que queremos atender à cauda longa.
00:08:04E assim, descobrimos que eles eram incríveis para todo tipo de coisa, como texto manuscrito, de uma forma que o OCR tradicional nunca foi.
00:08:12Mas o outro lado é que não achamos que eles sejam uma solução única para tudo.
00:08:16E se você está resolvendo esse problema em escala, se você é uma empresa lidando com centenas de milhões de documentos,
00:08:21há todo tipo de consideração secundária, como determinismo.
00:08:25Você se importa muito com a eficiência do seu processamento.
00:08:27Então, descobrimos que há algumas coisas em que a visão computacional tradicional ainda é muito, muito forte.
00:08:33E isso tem sido muito subestimado à medida que a pesquisa em veículos autônomos tem melhorado.
00:08:37Técnicas como detecção de objetos estão mais sofisticadas do que eram há uma década.
00:08:42E por isso, vemos que modelos com menos de 100 milhões de parâmetros são muito eficazes para coisas como detectar o layout de um documento.
00:08:48Você pode ir muito longe sem nem precisar de um grande modelo de fundação.
00:08:52E esses são modelos que podem rodar diretamente na CPU.
00:08:54Você pode rodá-los em escala.
00:08:55Você pode garantir que compreende, em nível de região, quais são as coisas difíceis de processar.
00:09:00E os VLMs introduzem essa noção de semântica.
00:09:03Você pode analisar e realmente identificar e corrigir o tipo de erro que provavelmente teria no seu pipeline.
00:09:09E a partir dessa ideia de semântica, quando você desconstrói esse problema e tem uma noção clara de onde estão as coisas mais nuances,
00:09:18se você segmentou o texto na sua página e entende onde está a escrita à mão,
00:09:21você pode introduzir essa noção de um tipo de agente no processo.
00:09:25Enquanto historicamente você teria uma equipe humana de revisão analisando, anotando e corrigindo erros,
00:09:29os VLMs agora podem apresentar esse tipo de ideia do que chamamos de OCR agêntico.
00:09:33Na prática, para nós, o que isso significa é: se você já usou uma ferramenta como o Cursor para aplicar edições rápidas na sua IDE,
00:09:41existe a noção de decodificação especulativa, onde você aplica edições em nível de token na sua saída.
00:09:45Você pode aplicar um princípio semelhante aqui, que não é apenas enviar o OCR para o Gemini,
00:09:51escrever um prompt bem bonito, pedindo com educação para não se desviar muito do original.
00:09:56Porque descobrimos que, ao fazer esse tipo de previsão do próximo token,
00:09:58você introduz novos casos de perda, onde modelos extremamente inteligentes
00:10:02começarão a corrigir coisas que não correspondem fielmente ao que estava no documento.
00:10:05Eles verão a palavra “total” e, se um humano cometeu um erro nessa tabela,
00:10:08os modelos às vezes chegam a somar os valores da tabela por conta própria.
00:10:13O que você quer é corrigir as edições em nível de token que deseja.
00:10:16Talvez você confunda um ponto com uma vírgula, um zero com a letra O,
00:10:19esse tipo de detalhe importa de verdade.
00:10:21E a questão é: como nós realmente representamos o que um humano teria visto
00:10:25se ele tivesse lido aquele documento?
00:10:27Então, a forma como vemos isso é que o OCR agêntico é quase como essa analogia do humano no processo,
00:10:34onde as primeiras entradas passam por uma análise de visão computacional mais VLM,
00:10:39mas depois você tem uma camada de verificação e correção que resulta em uma saída de alta confiabilidade.
00:10:44Mas mencionei antes que não vemos a gama de problemas puramente como análise e extração.
00:10:50E muito do que isso envolve é: acho importante pensar nos detalhes do seu pipeline,
00:10:56mesmo se você tiver um excelente pipeline de conversão de documentos para Markdown.
00:10:59E um ótimo exemplo disso é: se você construiu qualquer tipo de plataforma RAG,
00:11:04provavelmente teve que fazer algumas considerações sobre coisas como tabelas.
00:11:07Há muitas coisas que você pode codificar bem em algo como markdown.
00:11:13Mas em coisas como esta tabela, onde as células mescladas carregam muito significado,
00:11:18é importante preservar esse tipo de estrutura.
00:11:20E não se trata de uma limitação do modelo.
00:11:22Os LLMs são incríveis para raciocinar sobre uma estrutura HTML dessa mesma tabela,
00:11:26mas você também desperdiça muitos tokens, e isso fica caro rapidamente.
00:11:29E, obviamente, no outro extremo do espectro,
00:11:31você provavelmente não quer codificar tabelas simples em HTML,
00:11:35porque aí terá uma grande quantidade de tags HTML desnecessárias.
00:11:38Então, o que acabamos fazendo foi tratar isso como um problema dinâmico:
00:11:42quando você tem uma tabela simples, ótimo, podemos aproximar esses dados em markdown.
00:11:47Quando você tem uma tabela mais complexa, talvez queira usar algo como HTML,
00:11:50mas os modelos de linguagem não devem ser a única consideração no seu pipeline.
00:11:55Se você estiver fazendo qualquer coisa relacionada a embeddings,
00:11:57também terá o problema secundário de recuperação desse contexto.
00:12:01Aquela mesma tabela que mostrei antes,
00:12:03se você olhar a representação em HTML, é muito, muito confusa.
00:12:08A grande maioria desse trecho é composta apenas por tags HTML.
00:12:11Ela serve apenas para classificar a estrutura do documento.
00:12:14E o lamentável é que, enquanto em algumas avaliações genéricas,
00:12:17você pode ter um conteúdo que realmente tenta facilitar o trabalho do modelo
00:12:22e dizer exatamente o que você está procurando,
00:12:24uma pessoa no mundo real não enumera os valores da tabela.
00:12:28Ela simplesmente pergunta: "Como a receita mudou ao longo do tempo?"
00:12:30E supõe que você vai recuperar a tabela certa quando for relevante.
00:12:34E, embora os modelos de linguagem consigam raciocinar sobre esse texto de forma eficaz,
00:12:37se você estiver buscando em um grande corpus,
00:12:39percebemos que os modelos de embedding têm muita dificuldade para correlacionar esse prompt em linguagem natural
00:12:44com esse bloco confuso de tags HTML e números.
00:12:47Então, algo muito importante que você pode fazer, e que exige pouquíssimo esforço,
00:12:51é criar uma representação pensada mais para o próprio modelo de embedding.
00:12:55Pegando a mesma tabela,
00:12:56você cria uma representação em linguagem natural dela,
00:12:58para ter o melhor dos dois mundos.
00:13:00Quando estiver passando isso para o modelo raciocinar,
00:13:02você usa a representação da tabela em HTML,
00:13:04e quando estiver tentando garantir que recupere os trechos corretos,
00:13:07você usa esse bloco em linguagem natural.
00:13:12Alem disso, há também a ideia de que existe muito a ser feito além de apenas análise sintática e extração.
00:13:18E acho que o foco da indústria tem sido historicamente em análise sintática e extração
00:13:22porque realmente acreditamos que há um ganho enorme aí.
00:13:25E eu falei antes sobre o benchmark GDP PDF,
00:13:30que acho ser um ótimo exemplo ilustrativo do que você pode observar
00:13:34como resultado da melhoria do seu pipeline de dados.
00:13:37O que descobrimos é que, se você pegar exatamente o mesmo benchmark
00:13:40que mencionei anteriormente — infelizmente não pudemos testá-lo no Fable
00:13:43porque nosso acesso foi cortado.
00:13:46Mas se você testar em outros modelos e fornecer tanto o PDF original
00:13:50quanto uma representação estruturada do PDF,
00:13:52como os resultados do parsing aqui, entre diferentes modelos,
00:13:55seja o Gemini, o Anthropic ou a OpenAI,
00:13:58você percebe que realmente melhora o desempenho final do LLM apenas por dar entradas melhores.
00:14:04E isso chega ao ponto em que modelos como o GPT 5.5 e o Opus
00:14:09realmente superam algo como o Fable logo de cara,
00:14:12não apenas em precisão, mas como resultado do fornecimento de entradas melhores,
00:14:17os modelos acabam precisando usar menos tokens de raciocínio também.
00:14:20Eles focam menos em representar os dados e mais nas saídas reais.
00:14:24E, como resultado, eles acabam reduzindo a latência
00:14:27e também chegando à resposta correta mais rapidamente.
00:14:30Mas mesmo depois de ter esse tipo de pipeline
00:14:33e de ter revisado e inspecionado tudo
00:14:37na sua camada de parsing, grande parte do trabalho humano vai exigir
00:14:41entender o alcance do que você tem no seu corpus,
00:14:44encaminhá-lo para o pipeline apropriado e decompor esse problema,
00:14:48ou até mesmo, no final, editar e modificar seus documentos.
00:14:51E por isso o que tentamos fazer foi abordar isso como o seguinte problema:
00:14:54como garantir que cada interação de um modelo de linguagem
00:14:57com o documento seja tão eficaz quanto se um humano a tivesse feito?
00:15:00Se estiver preenchendo um formulário, como garantir a precisão
00:15:03onde você preenche os campos?
00:15:05E um ótimo exemplo disso no lado da orquestração
00:15:08é que acho que a divisão por classificação é uma forma muito subestimada
00:15:12de fazer um LLM realizar o seu melhor trabalho.
00:15:14Obviamente, você pode simplesmente despejar quanto contexto quiser.
00:15:17E se estiver fazendo um teste do tipo "agulha no palheiro",
00:15:19isso pode ser suficiente.
00:15:20Mas, na prática, há uma perda de qualidade percebida
00:15:24além do custo financeiro dos tokens por passar conteúdo em excesso.
00:15:28="Em vez disso, o que percebemos é que é possível obter uma margem enorme pensando"
00:15:33em questões como: como classificar os documentos certos
00:15:36para o tipo certo de pipeline?
00:15:38E mesmo para documentos grandes, como garantir que você está passando
00:15:41apenas os trechos que são realmente relevantes?
00:15:43Vemos casos de uso em que as pessoas lidam com correspondências físicas,
00:15:47e esses pacotes de correspondência podem ter centenas de páginas.
00:15:50Você não sabe necessariamente o que estará contido neles.
00:15:53Pode haver problemas como alguém ter intercalado o conteúdo,
00:15:57e fazer o modelo realizar esse tipo de organização é quase como uma distração
00:16:01do trabalho que você realmente está tentando realizar,
00:16:03que pode ser extrair os dados da correspondência,
00:16:05raciocinar sobre eles ou tomar uma decisão.
00:16:10Novamente, mencionei anteriormente que a segunda metade, penso eu,
00:16:13é uma parte mais interessante, ou seja, uma vez que você tenha
00:16:16a camada inicial de classificação e divisão,
00:16:20e tenha resolvido a triagem.
00:16:22Acho que o que deixa nossa equipe realmente animada
00:16:26é que as estruturas de agentes têm sido uma fronteira muito interessante
00:16:29para ir além do que historicamente eram problemas difíceis e não resolvidos.
00:16:34Um bom exemplo disso, do qual falarei em um segundo,
00:16:37são coisas como gráficos de linhas.
00:16:39Trabalhamos com muitos dos maiores fundos de hedge do mundo,
00:16:41e elementos como gráficos de linhas historicamente têm sido muito,
00:16:43muito difíceis porque, primeiro, estão em formato de imagem.
00:16:46Mas, segundo, há muita granularidade ao nível de pixel que, se você
00:16:49estiver fazendo qualquer coisa com um codificador de visão tradicional,
00:16:52provavelmente vai perder.
00:16:53Você obterá uma representação aproximada de como a receita variou,
00:16:55mas não obterá os pontos de dados individuais.
00:16:57E, por isso, temos pensado em como dar aos agentes a capacidade
00:17:00de ter as ferramentas certas para resolver o tipo específico de problema
00:17:04que você está analisando.
00:17:05No caso da extração de gráficos, o gráfico à esquerda codifica
00:17:09uma tabela enorme de dados.
00:17:11Se você realmente tentasse mapear cada pixel,
00:17:14seria muito, muito difícil.
00:17:16Mas também seria difícil para um modelo até mesmo aproximar
00:17:19as complexidades das linhas intermediárias.
00:17:22E não existe um modelo pronto para uso que consiga fazer isso
00:17:24como um problema de uma única tentativa (single-shot).
00:17:25O que você está vendo à direita é uma reconstrução
00:17:28da tabela markdown que conseguimos gerar
00:17:30a partir do gráfico de linhas inicial.
00:17:32E a única maneira de chegarmos a isso
00:17:34foi ter um agente com todo tipo de ferramenta.
00:17:36Ele tem seu próprio interpretador de código.
00:17:37Ele consegue visualizar o gráfico que está gerando.
00:17:40E faz isso de forma iterativa.
00:17:41Ele encontra erros no gráfico de linhas várias e várias vezes
00:17:45até conseguir chegar ao resultado final.
00:17:47Isso também se aplica a problemas como extração estruturada,
00:17:51onde já temos há algum tempo essa funcionalidade
00:17:53de documento para saída estruturada.
00:17:55Mas dá para ir além
00:17:57colocando uma estrutura de agente em torno dessa mesma tarefa.
00:18:00Você pode ter um agente principal definindo critérios de validação
00:18:03para os subagentes seguirem.
00:18:05E isso significa que se você tiver algo como um formulário do CBP
00:18:09com dezenas de milhares de campos,
00:18:11é o tipo de problema onde você acaba encontrando
00:18:13muitos problemas de natureza silenciosa.
00:18:15Como omitir conteúdos, omitir linhas.
00:18:17A MicroOne inclusive lançou um benchmark muito bom
00:18:20nessa área hoje de manhã, mostrando essa bifurcação
00:18:23nos mercados.
00:18:24Modelos de ponta com raciocínio máximo são muito precisos.
00:18:28Desde que tenham extraído uma linha,
00:18:30as chances de não ser uma alucinação são grandes.
00:18:31Eles realmente acertaram.
00:18:33Mas eles omitem silenciosamente muito conteúdo ao longo do benchmark.
00:18:37A revocação sofre bastante.
00:18:39Por outro lado, vários serviços dedicados de processamento de documentos
00:18:42estão atrás dos modelos de ponta em termos de precisão,
00:18:46mas diminuem essa diferença na revocação.
00:18:48Sempre existiu esse tipo de compensação.
00:18:51E foi só com uma estrutura de agentes que conseguimos encontrar
00:18:54esse máximo local tanto de precisão quanto de revocação
00:18:57para esse tipo de tarefa.
00:19:00A última coisa, e talvez a mais importante desta palestra,
00:19:04é que no fim das contas as avaliações devem fundamentar
00:19:09todas as suas decisões.
00:19:10E isso é parte fundamental de como pensamos nosso produto.
00:19:12Isso vale tanto para conjuntos de dados prontos que você avalia,
00:19:16quanto para coisas como monitoramento de produção em tempo real.
00:19:19Porque seus dados de produção vão ser diferentes
00:19:21de qualquer outra coisa que você tenha em conjuntos sintéticos.
00:19:25E acho muito importante não pensar em avaliações
00:19:28apenas como uma visão macro,
00:19:30mas também como as melhores equipes com quem trabalhamos
00:19:33que olham as avaliações detalhadamente em cada etapa do fluxo.
00:19:36A primeira coisa pode ser garantir
00:19:38que as entradas do seu fluxo sejam ótimas.
00:19:40E claro que você deve avaliar coisas como seu fluxo de análise.
00:19:43Mas mesmo uma análise perfeita com um fluxo de busca péssimo
00:19:47não vai ajudar se você não estiver passando o contexto certo.
00:19:50Por isso é importante pensar em detalhes
00:19:52como seu fluxo de busca,
00:19:54sua formatação ao final do fluxo,
00:19:56e no fim das contas, o mais importante:
00:19:58você consegue melhorar o desempenho final do agente?
00:20:03Vou encerrar com uma visão de para onde estamos indo
00:20:06e para onde vimos o setor caminhar.
00:20:08O mais importante, acho, é que conforme os agentes melhoram,
00:20:12você pode se distanciar do fluxo determinístico
00:20:15que você usaria há alguns anos.
00:20:17Muitos de nossos clientes criam na prática um sistema de arquivos
00:20:20para o agente navegar
00:20:22e deixam o agente decidir quais ferramentas quer usar.
00:20:25Então criamos uma CLI onde, em vez de criar um fluxo ponta a ponta
00:20:28no qual os documentos sempre seguem um caminho específico,
00:20:32o agente decide se precisa ler um certo tipo de documento,
00:20:35e eles dividem isso em dois conjuntos.
00:20:38Um é o campo de conteúdo que o agente lê conforme precisa,
00:20:41e o outro contém todos os metadados necessários.
00:20:44Se estiver fazendo citações, você pode querer caixas delimitadoras,
00:20:47e assim por diante.
00:20:50Vou pular esta parte sobre edição.
00:20:52Acho que há um trabalho muito interessante sendo feito aqui.
00:20:54Já lançamos parte disso, mas nos próximos meses,
00:20:57vocês nos verão focar cada vez mais em geração de documentos.
00:21:01Mas o resumo de hoje, e agradeço muito pelo tempo de vocês,
00:21:04é: primeiro, recomendo fortemente decompor o problema de análise.
00:21:08Na medida do possível, pense nisso como a ferramenta certa para a tarefa certa
00:21:11para alcançar o melhor equilíbrio de precisão, custo e latência.
00:21:16Segundo, acho que a verificação por agentes é a maior mudança que o setor teve em tempos,
00:21:21e é uma ótima oportunidade para garantir que seus fluxos funcionem em produção.
00:21:26Terceiro, exige muito pouco esforço, mas traz enormes ganhos prestar atenção aos detalhes,
00:21:31como formatar os dados para quem vai consumi-los.
00:21:34Na mesma linha, acho muito importante pensar não só no processamento dos dados,
00:21:39mas na orquestração deles.
00:21:41Por isso, sempre considere ferramentas como classificação e divisão
00:21:44como uma forma de aprimorar seu fluxo.
00:21:46Quinto, garanta que você avalie em cada etapa.
00:21:49E sexto, pense em como será essa próxima fronteira para você,
00:21:52pois a maioria das empresas de sucesso hoje mudou bastante
00:21:56em relação ao que fazíamos há dois ou três anos.
00:21:59Se tiverem dúvidas, fiquem à vontade para entrar em contato a qualquer momento.
00:22:03Meu e-mail é apenas nome@reducto.ai.
00:22:06E vocês também podem nos contatar pelo site se pudermos ajudar no seu caso de uso.
00:22:10Obrigado.
Community Posts
No posts yet. Be the first to write about this video!
Write about this video