Pinecone 2.0 — Edo Liberty, Pinecone

AAI Engineer
컴퓨터/소프트웨어AI/미래기술

스크립트

00:00:00interfaz... Hay muchas ideas geniales que hacen que esto funcione, pero
00:00:06quiero contarles un poco sobre solo una de ellas. Lo que están viendo es
00:00:11la interfaz de Nexus. Verán en la parte superior una pregunta que
00:00:17envió el agente, y a la izquierda se ven los diferentes pasos que siguió.
00:00:23Lo que ven abajo a la derecha es probablemente lo más interesante.
00:00:28Ven código generado abajo a la derecha. Lo que hace Nexus, que es muy
00:00:34diferente a otros sistemas, es lo que llamamos un agente de código en tiempo de ejecución. A diferencia de
00:00:40otros sistemas de código a los que están acostumbrados, donde la tarea es tomar una gran base
00:00:49de código y ayudar a editarla, ¿verdad? Pero cuando se terminan las ediciones, lo que tengo es un
00:00:55software y eso se despliega; ese es el artefacto. Lo que se está ejecutando
00:01:00ya no contiene el modelo, es solo el código. Esto no es lo que
00:01:05sucede aquí. En el momento de la consulta, deben pensar en el motor esencialmente
00:01:10construyendo algo como un Jupyter Notebook, algo como un repositorio de Python, ¿cierto?
00:01:16Literalmente escriben código y lo ejecutan, y si
00:01:20obtienen la respuesta, saben qué hacer con ella; y si no es lo
00:01:24que esperaban, reescriben esa parte del código. Lo que obtienen al final es un
00:01:30fragmento de código que completa la tarea y obtiene la información que desean
00:01:36obtener. Eso se puede guardar y volver a ejecutar, pero también es increíblemente flexible,
00:01:42porque ahora la respuesta no se obtiene mediante una consulta a una base de datos; está
00:01:50escrita por código, lo cual es, por supuesto, increíblemente flexible. Por cierto,
00:01:57curiosamente, si reemplazas... si escribes software de esta manera, la cantidad de
00:02:05prompts que necesitas se reduce significativamente. Pasamos de
00:02:08tener unos 150 000 tokens para darles a nuestros agentes todas las
00:02:12herramientas que necesitan, a menos de 1000 tokens para especificar todas las
00:02:16interfaces que necesitan para obtener información de Nexus. Por lo tanto, cuando se ejecuta,
00:02:23se ve de esta manera. A la izquierda, por supuesto, verán
00:02:29Nexus con noQL respondiendo la pregunta, y a la derecha está la misma tarea
00:02:38dada a un agente con todas las herramientas para completarla. Pero recuerden esto:
00:02:43el de la derecha está muy limitado. Es como el empleado en su primer día
00:02:48de trabajo: tiene que leer mucho, averiguar dónde están los datos,
00:02:51averiguar cuál es la tarea, escribir un montón de código... Está
00:02:55muy limitado. Y esto... no sé si se detuvo, pero
00:03:02de más está decir que este es mucho más lento y bastante más costoso en términos de
00:03:08consumo de tokens. Pero curiosamente, también es muchísimo menos
00:03:12preciso, porque de nuevo, no tienen el contexto ni los objetivos adecuados,
00:03:17etcétera, en su empresa. Solo diré que obviamente ya trabajamos con varios
00:03:25clientes de acceso anticipado. Aquí ven algunos resultados, pero los pasaré rápidamente
00:03:30para decir que a través de diferentes dominios, empresas
00:03:35y tipos de tareas, verán universalmente lo mismo:
00:03:40que si cambian a este paradigma, obtienen ahorros de costos significativos. Una reducción del 77 o 90
00:03:50por ciento en tokens es bastante común. Se vuelve muchísimo
00:03:58más rápido, desde un 20 o 30 por ciento hasta, a veces, un 77 por ciento más rápido.
00:04:07Pero lo más importante es que al mismo tiempo se vuelve
00:04:11mucho más preciso. Así que esto es realmente un éxito total. Concluiré diciendo que
00:04:20Nexus sale del acceso anticipado a la vista previa pública literalmente mañana, así que pruébenlo.
00:04:50Muchas gracias.

핵심 요약

El modelo de agente de código en tiempo de ejecución de Nexus reduce el consumo de tokens hasta en un 90 % y acelera las respuestas hasta un 77 % al sustituir las consultas de base de datos tradicionales por ejecuciones dinámicas de código Python.

하이라이트

  • Nexus implementa un agente de código en tiempo de ejecución que genera y ejecuta código Python en el momento de la consulta.

  • La interfaz reduce el uso de contexto de 150 000 tokens a menos de 1000 tokens para especificar las herramientas necesarias.

  • El cambio a este paradigma de código reduce el consumo de tokens entre un 77 % y un 90 %.

  • La velocidad de respuesta aumenta entre un 20 % y un 77 % en comparación con los agentes tradicionales basados en prompts.

  • Nexus pasa de acceso anticipado a vista previa pública.

타임라인

Funcionamiento del agente de código en tiempo de ejecución

  • El motor crea un entorno de ejecución similar a un Jupyter Notebook para procesar cada consulta.
  • El sistema escribe, ejecuta y corrige código de forma autónoma hasta obtener el resultado requerido.
  • El fragmento de código final resultante se puede guardar para ejecuciones posteriores.

Los sistemas tradicionales editan bases de código para desplegar un software estático que ya no contiene el modelo en ejecución. Nexus opera como un agente de código en tiempo de ejecución que interactúa directamente durante la consulta. Si el código generado no produce la respuesta esperada, el motor reescribe la sección correspondiente al instante. Este enfoque sustituye las consultas rígidas a bases de datos por scripts de Python adaptables.

Reducción de tokens y comparación de rendimiento

  • Las interfaces de código reducen la necesidad de prompts extensos de 150 000 a menos de 1000 tokens.
  • Los agentes tradicionales basados en herramientas consumen más recursos y resultan más lentos.
  • La falta de contexto dinámico reduce la precisión en los agentes convencionales.

Especificar las herramientas de Nexus mediante interfaces de código exige menos de 1000 tokens, a diferencia de los 150 000 tokens que requieren otros agentes. Los sistemas convencionales funcionan como un empleado en su primer día: deben leer documentación extensa, rastrear datos y escribir código manualmente. Esa sobrecarga de datos ralentiza el proceso, eleva el gasto en tokens y disminuye la precisión de los resultados en entornos corporativos.

Resultados de rendimiento y lanzamiento público

  • El paradigma de Nexus genera reducciones de tokens de entre el 77 % y el 90 %.
  • Las respuestas son entre un 20 % y un 77 % más rápidas en múltiples industrias.
  • Nexus entra en fase de vista previa pública.

Las pruebas con clientes de acceso anticipado muestran mejoras de eficiencia en diversos tipos de tareas y empresas. La disminución en el gasto de tokens se combina con un incremento sustancial en la velocidad de respuesta. Además del ahorro operativo, la precisión general de las respuestas aumenta respecto a las alternativas anteriores.

커뮤니티 글

아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!

이 영상에 대해 글쓰기