Me dê 9 minutos para te mostrar por que você não deve ignorar o Jev

PortuguêsالعربيةDeutschEnglishEspañolFrançaisहिन्दीBahasa Indonesia한국어Русский中文
MMaximilian Schwarzmüller
컴퓨터/소프트웨어창업/스타트업AI/미래기술

스크립트

00:00:00Há poucas horas, lançaram um novo modelo de IA e eu realmente acredito que ele pode mudar o jogo.
00:00:07Eu sei, eu sei que temos modelos novos quase toda semana, mas não estou falando de um novo
00:00:13grande modelo de linguagem. Em vez disso, estou falando do Jeff, da TypeSafe AI. E eu sei que isso parece
00:00:19nome de assistente pessoal, tipo um Grokbot, né? Jeff. E TypeSafe AI parece
00:00:25nome de biblioteca do TypeScript, mas não é nada disso. É um novo tipo de modelo de IA. Não é
00:00:31um grande modelo de linguagem, mas parece ser bem inteligente e nos dá algo que os grandes modelos
00:00:39só nos dão mais ou menos. Só para esclarecer logo de cara, aliás, este vídeo não é
00:00:44patrocinado nem nada do tipo. Você pode ir no site deles, typesafe.ai, e lá você pode
00:00:51entrar na lista de espera. Eu fiz isso ontem à noite, no horário da Alemanha, como todo mundo, e consegui acesso
00:00:56esta manhã. Então aqui estou. Mas o que é isso, afinal? A ideia é ter um modelo que não é focado em
00:01:04gerar texto, mas sim em entender texto. Você pode enviar qualquer texto que quiser e depois dar a ele algumas
00:01:12opções. Por exemplo, aqui está um caso básico: tenho alguns textos de exemplo que poderiam ser e-mails ou
00:01:21mensagens de chat de clientes, certo? Digamos que você tem um chat no seu site e os clientes mandam mensagens.
00:01:28Podem ser mensagens como estas. E aí você quer decidir o que fazer com elas. Claro,
00:01:34você pode passá-las por um grande modelo de linguagem, mas há alguns problemas. Primeiro, injeção de prompt,
00:01:40é claro. O segundo problema é que pode ser bem caro, porque você precisa de um modelo relativamente inteligente,
00:01:48então vai queimar muitos tokens, já que precisa passar todas as descrições de ferramentas para esse modelo.
00:01:54Você precisa passar informações extras para o modelo, além da mensagem do cliente, claro,
00:02:00e vai queimando tokens no caminho. E terceiro, é relativamente lento, né? Esses grandes modelos
00:02:06de linguagem de ponta levam algum tempo para responder. O Jeff é realmente super-rápido. Estamos falando
00:02:12de milissegundos aqui. Não roda na sua máquina, ainda é na nuvem, mas é super-rápido. E a ideia é que
00:02:18você passe a mensagem para o Jeff. Aqui, o "ask Jeff" sou eu usando esse cliente e falando com a IA.
00:02:26Então você passa essa mensagem e pode enviar até dados estruturados mais complexos. Não precisa
00:02:32ser apenas uma string. Depois, você passa informações sobre o que ele deve fazer com essa
00:02:39mensagem. Para ser exato, você passa as suas perguntas. E há três tipos de perguntas:
00:02:46escolhas (choices), pontuação (scoring) e sim/não (now). Escolhas é exatamente o que parece: você dá algumas opções
00:02:53e o modelo de IA devolve o grau de confiança sobre qual escolha ou opção é a correta.
00:02:58Pontuação é quando você deixa o modelo pontuar. Você dá alguns
00:03:02níveis, por assim dizer, e ele gera uma pontuação com base nisso. E "now" são perguntas de sim ou não.
00:03:10Neste exemplo básico, recebo algumas mensagens de usuários e as envio para o modelo.
00:03:15Aí defino minhas perguntas. A primeira é: qual equipe deve cuidar desta mensagem? E eu dou
00:03:21três opções a ele. Isso depende totalmente de você, pode definir o que precisar aqui. Você
00:03:26pode adicionar mais opções, acho que até 10 atualmente, e descreve sobre o que é cada opção. Eu
00:03:33tenho uma equipe de cobrança e deixo claro que ela cuida de cobranças, faturamento e assim por diante.
00:03:38Tenho outras equipes nesta demonstração. Essa é a primeira pergunta que envio ao Jeff com base
00:03:44naquela mensagem do cliente. Mas não é só isso, porque você pode fazer várias perguntas de uma vez.
00:03:49Poderíamos ter várias escolhas, mas aqui quero mostrar uma de cada categoria. Então tenho uma pergunta
00:03:53de escolha, uma de sim/não em que pergunto: "Esta mensagem expressa urgência?". Passamos todas as
00:04:00três mensagens por ela para ver se cada uma tem urgência. E o terceiro tipo
00:04:07de pergunta que estou enviando aqui é de pontuação, onde quero saber o quão frustrado o cliente
00:04:11parece estar. Se eu rodar isso aqui assim, podemos ver que executa muito rápido.
00:04:20Isso foi enviado para a nuvem, para o modelo de IA, e processado. Mas não há nenhum grande modelo
00:04:25de linguagem envolvido. Em vez disso, para esta primeira mensagem de cliente, a escolha foi que a
00:04:30equipe técnica deveria cuidar disso, com um nível de confiança criado automaticamente pelo Jeff.
00:04:36Na pergunta de sim/não sobre se é urgente: sim, é bem urgente. Temos uma pontuação bem alta,
00:04:42quase 1, de que é urgente. E a frustração é bem alta, como podemos ver. A segunda
00:04:49mensagem dizia que fomos cobrados duas vezes e queremos um reembolso imediato. Isso deve ser direcionado
00:04:56para a equipe de cobrança. O Jeff decidiu que é bem urgente e a frustração também é um pouco alta. E a
00:05:03terceira mensagem é para a equipe de vendas, não é urgente e não há frustração ali.
00:05:09Como vocês podem ver, ou pelo menos é o que eu vejo aqui, isso pode ser extremamente útil. Podemos construir isso
00:05:18com grandes modelos de linguagem, mas já destaquei as desvantagens. Isso aqui é rápido e superbarato.
00:05:24Temos que falar de preço: custa 42 dólares por bilhão. Bilhão, não milhão como todos os outros
00:05:33modelos. Bilhão de tokens de entrada! E os tokens de saída são gratuitos, não custam nada. Então é absurdamente
00:05:40mais barato do que todos esses grandes modelos de linguagem. Você pode mandar várias perguntas complexas para o Jeff e vai custar
00:05:49quase nada. Repetindo: os tokens de saída não custam nada. É super-rápido e foi feito sob medida
00:05:56para essas decisões. Se você parar para pensar — e é por isso que estou bem empolgado com isso —, se você
00:06:02pensar bem, muito do que construímos se resume a decisões. Todo agente de IA que você cria está cheio de
00:06:08decisões: qual ferramenta chamar e quando. São todas decisões. Como mencionei, você pode combinar isso
00:06:15com grandes modelos de linguagem. Aqui tenho outro exemplo em que criei um assistente e tenho
00:06:22algumas chamadas de ferramentas bem simples. Digamos que seja um assistente residencial em que podemos
00:06:29apagar ou acender as luzes em um determinado cômodo. Há uma função fictícia para isso, uma ferramenta fictícia.
00:06:35Mas também podemos querer usar um grande modelo de linguagem para certas tarefas, porque o Jeff não pode
00:06:42redigir textos. Sempre que você quiser gerar texto, por exemplo, um e-mail de resposta para um cliente ou algo
00:06:48do tipo, precisa trazer um grande modelo de linguagem. E você pode fazer isso. Aqui eu uso um grande modelo
00:06:54de linguagem e faço isso com o AI SDK da Vercel. Estou usando o GPT-5.6 Terra com esforço de pensamento médio, então
00:07:02é relativamente acessível. Aí deixo o Jeff fazer as escolhas de qual ferramenta usar. De novo, é o Jeff, não o
00:07:10grande modelo de linguagem. Aí executo essas ferramentas: em algumas, um grande modelo de linguagem é usado,
00:07:15em outras não. Essa é a parte incrível: estamos criando sistemas em que
00:07:21precisamos tomar decisões o tempo todo, onde precisamos pontuar coisas ou responder perguntas de sim e não
00:07:26o tempo todo. E, hoje em dia, costumamos usar grandes modelos de linguagem para isso. Eles são
00:07:31bons, não me leve a mal, e uma vantagem que eles com certeza ainda têm é, por exemplo, a janela
00:07:36de contexto. A documentação menciona um limite de cerca de 32 mil tokens de texto que você pode passar nas suas
00:07:45perguntas aqui. Você tem limitações assim. Na documentação também há um artigo inteiro sobre as
00:07:50inconsistências do modelo de ponta atual deles, onde ele não é bom com matemática, números ou, por exemplo, comparação
00:07:56de data e hora. Há aspectos em que ele não é bom. Primeiro, eu esperaria que, assim como os outros modelos
00:08:05de IA, ele melhore no futuro e esses problemas sejam resolvidos. Além disso, não é uma questão de
00:08:12escolher um ou outro, é um complemento. Pode ser uma ótima ferramenta extra além dos grandes modelos de linguagem. Se
00:08:18fosse igualmente lento e caro, eu não veria necessariamente a vantagem. Mas não é o caso: com as
00:08:24vantagens que oferece, parece realmente promissor. Agora teremos que fazer testes de longo prazo, vê-lo em
00:08:32produção, ver em casos de uso mais complexos para avaliar se é muito propenso a erros, se é muito
00:08:40vulnerável a injeção de prompt ou algo do tipo, se pode sofrer com problemas assim. Mas parece
00:08:47muito útil. E, ao contrário daquela história toda de subquadrático que aconteceu há alguns meses,
00:08:53isso é algo que você pode usar e testar. Já está disponível agora, pelo menos se você conseguir acesso.
00:08:57Você pode se inscrever na lista de espera. Para mim, levou só algumas horas. E parece muito
00:09:03útil. Acho que podemos construir programas e sistemas incríveis combinando o Jeff com a programação
00:09:12tradicional, ou seja, com código determinístico normal, e também com grandes modelos de linguagem, criando coisas
00:09:20fantásticas com tudo isso. Então é isso, espero que esta seja uma boa visão geral sobre o que é o Jeff. Inscreva-se
00:09:27na lista de espera se quiser pôr a mão na massa e depois mergulhe fundo e comece a testar.

핵심 요약

O Jev reduz drasticamente os custos e a latência em arquiteturas de IA ao assumir o roteamento de decisões estruturadas por 42 dólares por bilhão de tokens de entrada, liberando os grandes modelos de linguagem para a geração pura de texto.

하이라이트

  • O Jev, criado pela TypeSafe AI, custa 42 dólares por bilhão de tokens de entrada e oferece tokens de saída gratuitos.

  • O modelo processa respostas em milissegundos e foca exclusivamente no entendimento e na tomada de decisões em texto.

  • A estrutura do Jev opera com três tipos específicos de perguntas: escolhas (choices), pontuação (scoring) e decisões binárias (now).

  • O limite da janela de contexto para envio de dados ao Jev é de aproximadamente 32 mil tokens de texto.

  • O Jev complementa os grandes modelos de linguagem ao assumir o roteamento de ferramentas e o gerenciamento de condicionais.

타임라인

Arquitetura e proposta do modelo Jev

  • O Jev é um modelo especializado em compreensão de texto desenvolvido pela TypeSafe AI.
  • O foco da arquitetura elimina a geração de linguagem para priorizar a tomada de decisões.
  • O acesso ao modelo ocorre por meio de uma lista de espera no site typesafe.ai.

O Jev difere dos grandes modelos de linguagem tradicionais por não gerar texto livre. A proposta central é analisar dados de entrada e responder a estruturas de decisão predefinidas. A infraestrutura roda na nuvem e entrega respostas de forma imediata.

Problemas resolvidos no processamento de mensagens

  • O uso de grandes modelos de linguagem para classificação gera vulnerabilidade a injeções de prompt e alto custo financeiro.
  • A latência dos modelos tradicionais compromete o tempo de resposta em fluxos de atendimento ao cliente.
  • O Jev aceita textos simples ou dados estruturados complexos para análise de intenção.

A triagem de dados com modelos de linguagem comuns consome tokens excessivos devido à necessidade de incluir descrições de ferramentas e contexto no prompt. O Jev elimina esse desperdício executando análises diretas sobre a entrada fornecida. A resposta em milissegundos viabiliza o processamento em tempo real sem sobrecarregar a infraestrutura.

Categorias de perguntas e avaliação de dados

  • O modelo aceita até 10 opções na categoria de escolhas com descrições detalhadas para cada alternativa.
  • A categoria de pontuação atribui notas numéricas com base na análise do tom ou do conteúdo.
  • A categoria 'now' valida condições binárias de sim ou não sobre o texto analisado.

Uma única requisição enviada ao Jev pode conter múltiplos tipos de avaliação simultâneos. Em um teste prático com mensagens de suporte, o modelo direcionou o atendimento para a equipe técnica, calculou um índice de urgência próximo a 1 e pontuou o nível de frustração do usuário. As decisões retornam acompanhadas de um grau de confiança gerado automaticamente.

Estrutura de custos e integração com agentes de IA

  • O valor cobrado pelo Jev é de 42 dólares por bilhão de tokens de entrada.
  • Os tokens de saída não possuem custo de processamento.
  • A seleção de ferramentas em agentes de IA pode ser delegada ao Jev para economizar chamadas a modelos como o GPT-5.6.

Agentes de software gastam a maior parte do processamento decidindo quais funções executar. Transferir a lógica condicional e a seleção de ferramentas para o Jev reduz drasticamente os custos operacionais. Modelos de geração de texto, como os integrados via Vercel AI SDK, passam a atuar apenas quando há necessidade real de redigir respostas para o usuário final.

Limitações técnicas e aplicação prática

  • A janela de contexto do Jev possui um limite de 32 mil tokens de texto.
  • O modelo apresenta inconsistências em operações matemáticas e comparações de data e hora.
  • A integração com código determinístico e grandes modelos de linguagem forma uma arquitetura híbrida de desenvolvimento.

O Jev não substitui a programação tradicional nem os grandes modelos de linguagem, atuando como uma camada intermediária de decisão. As limitações atuais em cálculos numéricos e manipulação de datas exigem validação em ambientes de produção. O modelo funciona como um complemento rápido para controlar o fluxo de execução em sistemas de software.

커뮤니티 글

아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!

이 영상에 대해 글쓰기