Dame 9 minutos para mostrarte por qué no deberías dejar pasar a Jev

EspañolالعربيةDeutschEnglishFrançaisहिन्दीBahasa Indonesia한국어PortuguêsРусский中文
MMaximilian Schwarzmüller
컴퓨터/소프트웨어창업/스타트업AI/미래기술

스크립트

00:00:00hace un par de horas salió un nuevo modelo de inteligencia artificial y sinceramente creo que podría cambiar las reglas del juego
00:00:07ahora bien, ya sé que tenemos modelos nuevos casi todas las semanas, pero no estoy hablando de un nuevo
00:00:13modelo de lenguaje grande, sino que hablo de Jeff de TypeSafe AI. Y sé que esto suena
00:00:19a asistente personal, como un bot de Grog, como Jeff, ¿verdad? Y es una IA con seguridad de tipos, que suena
00:00:25a librería de TypeScript, pero nada de eso es el caso. Es un nuevo tipo de modelo de IA, no es
00:00:31un modelo de lenguaje grande, pero parece ser un modelo bastante inteligente y nos da algo que los modelos de lenguaje
00:00:39grande solo nos dan más o menos. Ahora, para quitar esto del medio de una vez, por cierto, esto no está
00:00:44patrocinado ni nada por el estilo, pueden entrar a su sitio web typesafe.ai y allí pueden
00:00:51inscribirse en una lista de espera. Yo lo hice como todos los demás ayer por la tarde, hora de Alemania, y conseguí acceso
00:00:56esta mañana, así que aquí estoy. Ahora, ¿qué es exactamente? La idea es que tienes un modelo que no se trata de
00:01:04generar texto, sino que puede entender texto. Puedes introducir cualquier texto que quieras y luego le das algunas
00:01:12opciones. Por ejemplo, aquí va un ejemplo básico: tengo algunos textos de ejemplo, que podrían ser algunos correos electrónicos o
00:01:21algunos mensajes de chat de clientes, ¿verdad? Tienes un chat en tu sitio web, los clientes pueden enviar mensajes
00:01:28que podrían ser estos mensajes de aquí, y luego quieres decidir qué hacer con ellos, por supuesto.
00:01:34Puedes canalizarlos a través de un modelo de lenguaje grande. Hay un par de problemas aquí: primero, la inyección de prompts,
00:01:40por supuesto; segundo problema, puede ser bastante caro porque necesitas un modelo relativamente inteligente, así que
00:01:48vas a gastar muchísimos tokens ahí, ya que necesitas pasar todas las descripciones de tus herramientas a ese modelo,
00:01:54necesitas pasarle información adicional al modelo, el mensaje del cliente por supuesto,
00:02:00y vas gastando tokens en el proceso. Y tercero, es relativamente lento, ¿verdad? Estos modelos de lenguaje
00:02:06grande de vanguardia tardan un tiempo en responder. Jeff es verdaderamente súper rápido, estamos hablando de milisegundos
00:02:12aquí, no se ejecuta en tu máquina, sigue estando en la nube, pero es súper rápido y la idea es que
00:02:18le das el mensaje a Jeff —así que aquí “preguntar a Jeff” es realmente solo yo usando este cliente y hablando con la IA—,
00:02:26entonces le das ese mensaje y de hecho también puedes pasar datos estructurados más complejos, por lo que no
00:02:32tiene que ser solo una cadena de texto, y luego le das información sobre lo que debe hacer con ese
00:02:39mensaje, le das tus preguntas para ser precisos, y hay tres tipos de preguntas: hay
00:02:46opciones (choices), puntuación (scoring) y sí/no (now). Las opciones son exactamente lo que parece: le das algunas alternativas
00:02:53y luego el modelo de IA te devuelve un nivel de confianza sobre qué elección o qué opción es la correcta.
00:02:58La puntuación consiste en dejar que el modelo puntúe, le das algunos
00:03:02niveles por así decirlo, y crea una puntuación basada en esos niveles; y las de sí/no son preguntas de verdadero o falso.
00:03:10Así que aquí en este ejemplo básico, por ejemplo, recibo algunos mensajes de usuario, se los envío al modelo
00:03:15y luego aquí defino mis preguntas. La primera pregunta es: ¿qué equipo debería encargarse de este mensaje?, y le doy
00:03:21tres opciones. Y esto depende enteramente de ti, así que puedes definir lo que necesites aquí, puedes
00:03:26añadir más opciones, creo que hasta 10 ahora mismo, um, y describes de qué trata cada opción; así que tengo un equipo de facturación
00:03:33y dejo claro que este equipo se encarga de los cargos, la facturación y demás,
00:03:38y tengo otros equipos aquí en esta demostración. Esa es la primera pregunta que le envío a Jeff basada
00:03:44en ese mensaje del cliente, pero no es todo, porque puedes tener múltiples preguntas en una sola ronda.
00:03:49Podríamos tener múltiples opciones, pero aquí quiero mostrar una de cada categoría, así que tengo una pregunta de opción
00:03:53tengo una pregunta de sí/no en la que quiero preguntar: ¿este mensaje expresa urgencia?, y canalizaremos los tres
00:04:00mensajes a través de él para que podamos ver si cada mensaje tiene urgencia. Y luego el tercer tipo
00:04:07de pregunta que envío aquí es una pregunta de puntuación, donde quiero saber cuán frustrado parece
00:04:11el cliente. Y si ejecuto esto aquí, um, de esta manera, podemos ver que se ejecuta y es realmente rápido, así que
00:04:20esto fue enviado a la nube, al modelo de IA, procesado y todo, pero no hay ningún modelo de lenguaje
00:04:25grande involucrado; en su lugar, puedes ver que para este primer mensaje de cliente aquí, la opción elegida fue que el
00:04:30equipo técnico debería encargarse de ello, con un nivel de confianza generado automáticamente por Jeff
00:04:36de que sí o no, si es urgente, sí, es bastante urgente aquí, tenemos una puntuación de confianza bastante alta,
00:04:42casi uno, de que es urgente y la frustración es bastante alta, como podemos ver. El segundo
00:04:49problema era, um, que nos cobraron dos veces y queremos un reembolso inmediato, por lo que debería ser canalizado
00:04:56al equipo de facturación; Jeff decidió que es bastante urgente y la frustración también es más o menos alta. Y luego
00:05:03esa tercera pregunta, es para el equipo de ventas, no es urgente y no hay frustración en ella. Ahora,
00:05:09como puedes ver, o al menos eso es lo que veo aquí, esto podría ser muy, muy útil. Podemos construir esto
00:05:18con modelos de lenguaje grande, pero ya describí cuáles son sus desventajas: esto es rápido y súper
00:05:24barato. Tenemos que hablar de precios: esto cuesta 42 dólares por billón —billón, no millón, como todos los demás
00:05:33modelos— de tokens de entrada, y los tokens de salida son gratis, los tokens de salida no cuestan nada, así que esto es enormemente
00:05:40más barato que todos estos modelos de lenguaje grande; puedes enviar un montón de preguntas complejas a Jeff y te costará
00:05:49casi nada, y de nuevo, los tokens de salida no te cuestan nada, es súper rápido y está diseñado específicamente
00:05:56para estas decisiones. Y si lo piensas —y por eso estoy bastante emocionado con esto—, si
00:06:02lo piensas, gran parte de lo que estamos construyendo se reduce a decisiones; cada agente de IA que construyes está lleno de
00:06:08decisiones, qué herramienta llamar y cuándo, todas estas son decisiones. Ahora, como mencioné, por supuesto puedes combinarlo
00:06:15con modelos de lenguaje grande; de hecho, aquí tengo otro ejemplo donde construí un asistente y ahí tengo
00:06:22un par de llamadas a herramientas muy simples aquí, um, donde digamos que esto es algún asistente para el hogar donde podemos
00:06:29apagar las luces en una habitación determinada o encenderlas, por lo que esa es una función ficticia para eso, una herramienta ficticia para
00:06:35eso, pero donde también es posible que queramos usar un modelo de lenguaje grande para ciertas tareas, porque nuevamente, Jeff no puede
00:06:42redactar texto, así que siempre que quieras generar texto, por ejemplo, un correo de respuesta para un cliente o algo
00:06:48por el estilo, necesitas incorporar un modelo de lenguaje grande, y puedes hacerlo aquí: uso un modelo de lenguaje
00:06:54grande y lo estoy haciendo con el SDK de IA de Vercel, usando GPT 5.6 terra con un esfuerzo de razonamiento medio, así que
00:07:02es relativamente accesible, y luego dejo que Jeff tome las decisiones sobre qué herramienta usar; de nuevo, ese es Jeff, no el
00:07:10modelo de lenguaje grande, pero luego ejecuto esas herramientas y en algunas herramientas se usa un modelo de lenguaje grande
00:07:15y en otras no, y esa es realmente la parte increíble: estamos construyendo sistemas donde
00:07:21tenemos que tomar decisiones todo el tiempo, donde necesitamos calificar cosas o responder preguntas de sí y no todo
00:07:26el tiempo, y ahora mismo a menudo estamos usando modelos de lenguaje grande para eso, y son
00:07:31buenos, no me malinterpretes; y una ventaja que definitivamente todavía tienen es, por ejemplo, la ventana de contexto.
00:07:36La documentación menciona un presupuesto de alrededor de 32 000 tokens de texto que puedes pasar en tus
00:07:45preguntas aquí, por lo que tienes limitaciones de este tipo. En la documentación también hay un artículo completo sobre la
00:07:50irregularidad de su modelo de vanguardia actual, donde no es bueno con las matemáticas, los números, por ejemplo, la comparación
00:07:56de fechas y horas, así que hay aspectos en los que no es bueno ahora mismo. Por un lado, esperaría que, como todos los demás modelos
00:08:05de IA, mejore en el futuro y los problemas se puedan resolver, y aparte de eso, de nuevo, no es una
00:08:12cuestión de todo o nada, es una adición, puede ser una gran herramienta extra además de los modelos de lenguaje grande; y si
00:08:18fuera igual de lento y caro, no vería necesariamente el beneficio, pero no lo es, con las
00:08:24ventajas que ofrece parece realmente prometedor. Ahora tendremos que hacer pruebas a largo plazo, verlo en
00:08:32producción, verlo en casos de uso más complejos para evaluar si es muy propenso a errores, si es tal vez muy
00:08:40propenso a la inyección de prompts o algo por el estilo, si puede sufrir de problemas de este tipo, pero se ve
00:08:47realmente útil y, a diferencia de, por ejemplo, todo el asunto subcuadrático que pasó hace un par de meses
00:08:53atrás, esto es algo que puedes usar y probar, está disponible ahora mismo, al menos si consigues acceso,
00:08:57puedes apuntarte a la lista de espera y para mí fue solo cuestión de un par de horas y se ve realmente
00:09:03útil. Creo que podemos construir programas y sistemas realmente geniales combinando a Jeff con la programación tradicional,
00:09:12es decir, con código determinista normal y también con modelos de lenguaje grande, y construir cosas verdaderamente asombrosas
00:09:20con todo eso. Así que sí, espero que esto sea una buena primera impresión y descripción general de lo que es Jeff; apúntate a
00:09:27la lista de espera si quieres mancharte las manos tú mismo y luego sumergirte y jugar con ello.

핵심 요약

Jeff de TypeSafe AI ofrece un modelo rápido y económico de procesamiento de decisiones estructuradas por 42 dólares por billón de tokens de entrada sin costo en tokens de salida.

하이라이트

  • Jeff de TypeSafe AI procesa entradas de texto basadas en opciones, puntuaciones y preguntas de sí o no en lugar de generar texto completo.

  • El coste de uso es de 42 dólares por billón de tokens de entrada, mientras que los tokens de salida no tienen costo alguno.

  • El modelo procesa datos estructurados y cadenas de texto en milisegundos a través de la nube sin requerir la ejecución en hardware local.

  • El presupuesto de contexto actual admite hasta 32 000 tokens de texto por consulta.

  • La herramienta opera mediante llamadas al sitio web typesafe.ai con acceso disponible previa inscripción en lista de espera.

타임라인

Introducción al nuevo modelo de IA para toma de decisiones

  • Jeff surge como un modelo de TypeSafe AI ajeno a los modelos de lenguaje grande tradicionales.
  • El acceso se obtiene mediante inscripción en la lista de espera del sitio web typesafe.ai.

El sistema se presenta como una alternativa fuera de los grandes modelos de lenguaje convencionales. La adquisición del acceso se realiza tras registrarse en la plataforma oficial en línea.

Mecanismo de funcionamiento y tipos de preguntas

  • El procesamiento se divide en tres categorías principales denominadas opciones, puntuación y sí o no.
  • Los mensajes de clientes se canalizan para determinar el equipo responsable, la urgencia y el nivel de frustración de manera simultánea.
  • La velocidad de respuesta opera en el rango de milisegundos desde la infraestructura en la nube.

La entrada acepta textos y datos estructurados complejos para evaluar alternativas con niveles de confianza generados de forma automática. Las consultas evalúan categorías discretas como derivaciones departamentales, métricas de urgencia y grados de frustración con una ejecución sumamente veloz.

Estructura de precios y ventajas frente a modelos de lenguaje grande

  • El costo operativo asciende a 42 dólares por billón de tokens de entrada con tokens de salida gratuitos.
  • La integración con modelos de lenguaje grande permite combinar la toma de decisiones con la redacción de texto mediante SDKs externos.

El modelo reduce drásticamente el gasto económico al suprimir el cobro por tokens de salida. La arquitectura permite delegar la lógica de decisiones en Jeff mientras se reservan tareas de generación textual para modelos de lenguaje grande mediante herramientas de desarrollo como el SDK de Vercel.

Limitaciones actuales y perspectivas futuras en producción

  • La ventana de contexto limita el procesamiento a un presupuesto aproximado de 32 000 tokens.
  • El rendimiento actual muestra deficiencias en matemáticas, números y comparación de fechas u horas.

Las restricciones documentadas incluyen un margen de 32 000 tokens y debilidades puntuales en el manejo de operaciones numéricas y temporales. La validación requiere pruebas a largo plazo en entornos productivos para determinar la vulnerabilidad frente a inyecciones de prompts y escenarios complejos.

커뮤니티 글

아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!

이 영상에 대해 글쓰기