Pinecone 2.0 — Edo Liberty, Pinecone

AAI Engineer
컴퓨터/소프트웨어AI/미래기술

스크립트

00:00:00interface... Eu quero, existem muitas ideias legais que fazem isso funcionar, mas
00:00:06quero falar um pouco sobre apenas uma delas, certo? O que você está vendo é
00:00:11a interface do Nexus, certo? Você verá no topo uma pergunta que o
00:00:17agente fez, e à esquerda você vê as diferentes etapas que ele
00:00:23percorreu. O que você vê no canto inferior direito é provavelmente o mais interessante:
00:00:28você vê o código gerado no canto inferior direito. O Nexus faz algo que é muito
00:00:34diferente de outros sistemas: é o que chamamos de agente de código em tempo de execução. Diferente
00:00:40de outros sistemas de código com os quais você está acostumado, onde a tarefa é pegar uma grande base
00:00:49de código e me ajudar a editá-la, né? Mas quando as edições terminam, o que eu tenho é um
00:00:55software e ele é implantado, esse é o artefato. O que está
00:01:00rodando não contém mais o modelo, é apenas o código. Não é isso que
00:01:05acontece aqui. No momento da consulta, você deve pensar no motor essencialmente
00:01:10construindo algo como um Jupyter Notebook, algo como um repositório Python, né?
00:01:16E ele literalmente escreve o código e executa, escreve o código e executa, e se
00:01:20obpõe a resposta, sabe o que fazer com ela. E se não for o que
00:01:24esperava, reescreve essa parte do código. No final, o que você obtém é um
00:01:30trecho de código que conclui a tarefa e obtém as informações que você quer
00:01:36obter, certo? Isso pode ser salvo e reexecutado, mas também é incrivelmente flexível
00:01:42porque agora a resposta não vem de uma consulta a um banco de dados,
00:01:50ela é escrita por código, o que é, claro, incrivelmente flexível. A propósito, esse código,
00:01:57curiosamente, se você escreve software dessa forma, a quantidade de
00:02:05prompts necessários é reduzida significativamente. Caímos de
00:02:08cerca de 150 mil tokens para dar aos nossos agentes todas as
00:02:12ferramentas necessárias para menos de mil tokens para especificar todas as
00:02:16interfaces necessárias para extrair informações do Nexus, certo? E a resposta... Então,
00:02:23o resultado ao executá-lo é assim. À esquerda, claro, você verá
00:02:29o Nexus com noQL respondendo à pergunta, e à direita está a mesma tarefa
00:02:38dada a um agente com todas as ferramentas para concluí-la. Mas lembre-se:
00:02:43este da direita está muito limitado. É como o funcionário no primeiro dia
00:02:48de trabalho: ele precisa ler um monte de coisas, descobrir onde estão os dados,
00:02:51entender qual é a tarefa, escrever um monte de código... Ele está
00:02:55totalmente em desvantagem. E isso, não sei se... ok, parou, mas
00:03:02desnecessário dizer que é muito mais lento, muito mais caro em termos de
00:03:08consumo de tokens, mas, curiosamente, também é extremamente menos
00:03:12preciso, porque ele não tem o contexto certo, os objetivos certos e
00:03:17assim por diante na sua empresa. Vale dizer que já trabalhamos com vários
00:03:25clientes no acesso antecipado. Você pode ver alguns resultados aqui, mas vou passar por eles
00:03:30rapidamente e dizer que, em diferentes domínios, em diferentes
00:03:35empresas e em diferentes tipos de tarefas, você verá universalmente o mesmo
00:03:40resultado: ao mudar para esse paradigma, você obtém uma economia de custos significativa. Uma redução
00:03:50de 77% a 90% nos tokens é bem comum. Fica extremamente
00:03:58fica extremamente mais rápido, variando de 20 a 30% a até 77% mais rápido, ok? Mas, e o
00:04:07mais importante: também se torna muito mais preciso ao mesmo
00:04:11tempo. Então, isso é realmente um tiro certeiro. Vou encerrar dizendo que o
00:04:20Nexus está saindo do acesso antecipado e entrando em prévia pública literalmente amanhã, então experimentem!
00:04:50Obrigado.

핵심 요약

O agente de código em tempo de execução Nexus substitui o uso massivo de ferramentas por geração e execução direta de código Python, reduzindo o uso de tokens em até 90% e acelerando as respostas em até 77%.

하이라이트

  • O motor Nexus atua como um agente de código em tempo de execução que gera e executa código Python interativamente para responder consultas.

  • A transição para a interface de código do Nexus reduz o consumo de prompts de aproximadamente 150 mil tokens para menos de mil tokens.

  • O Nexus reduz os custos de tokens entre 77% e 90% em comparação com agentes baseados em chamadas de ferramentas tradicionais.

  • A velocidade do sistema aumenta entre 20% e 77%, além de apresentar ganhos de precisão em múltiplos domínios de uso.

타임라인

A arquitetura do agente de código em tempo de execução Nexus

  • O Nexus escreve e executa código no momento da consulta em uma estrutura semelhante a um Jupyter Notebook.
  • A especificação de interface exige menos de mil tokens contra 150 mil tokens em abordagens tradicionais com chamadas de ferramentas.

Em vez de apenas modificar uma base de código para deploy estático posterior, o motor Nexus gera trechos de código dinâmicos para resolver perguntas complexas. Ele avalia os resultados obtidos em tempo real e reescreve as etapas caso o retorno divirja do esperado. O script final obtém os dados e pode ser salvo para novas execuções, eliminando a dependência de descrições extensas de ferramentas no prompt principal.

Comparação de desempenho e resultados práticos

  • Agentes baseados em chamadas extensas de ferramentas operam de forma mais lenta, custosa e imprecisa por falta de contexto otimizado.
  • O uso do Nexus reduz o consumo total de tokens entre 77% e 90%.
  • O tempo de resposta do sistema cai de 20% a 77% em diferentes tipos de tarefas corporativas.

Agentes convencionais gastam grandes volumes de tokens para interpretar a estrutura da empresa e os dados disponíveis a cada execução, o que eleva custos e gera falhas de precisão. Os dados de testes em prévia fechada demonstram ganhos de velocidade e redução de custos operacionais simultâneos ao aumento da exatidão das respostas. O Nexus passa a ficar disponível em prévia pública.

커뮤니티 글

아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!

이 영상에 대해 글쓰기