O Modelo de IA Mais Barato Que Te Custa Mais - Rayan Krishnan, Vals AI

Highlights

• Os gastos empresariais com inteligência artificial dobram anualmente, mas o retorno sobre o investimento estabelece-se em apenas 7%.

• Um modelo de IA classificado como mais barato no papel pode custar até 14 vezes mais na prática devido ao excesso de tokens consumidos em tarefas complexas.

• Avaliações personalizadas baseadas em repositórios do GitHub reduzem os custos operacionais de engenharia de software em 90%.

• Modelos de código aberto auto-hospedados podem apresentar custos de inferência superiores e desempenho inferior em comparação a opções comerciais otimizadas.

Timeline

1. 00:00 - 03:22

   Limitações dos benchmarks gerais de IA

   Os principais índices do mercado compilam o impacto econômico dos modelos em áreas como finanças e programação, gerando um número de alto nível. No entanto, a análise detalhada revela uma fronteira irregular de desempenho fragmentado entre diferentes linguagens e tarefas. Em paralelo, o aumento anual nos gastos corporativos contrasta com a dificuldade em mensurar o retorno financeiro exato.

   • Os cartões de modelo fornecem uma visão geral da inteligência, mas falham em prever o comportamento prático em setores específicos.
   • A adoção empresarial de inteligência artificial cresce continuamente enquanto o retorno sobre o investimento permanece restrito a 7%.
   • A incapacidade de rastrear custos e gastos impede as organizações de identificar a origem real do valor gerado pela tecnologia.
2. 03:22 - 07:39

   Contornos de custos e desempenho em tarefas específicas

   A intuição fornecida pelos laboratórios de IA sobre o custo-benefício falha em cenários reais de aplicação. Um modelo teoricamente mais econômico pode gastar mais recursos tentando resolver problemas complexos, gerando resultados piores que os modelos de fronteira. Além disso, análises direcionadas a tarefas específicas, como LBO em planilhas, demonstram que os modelos líderes mudam conforme o subconjunto de trabalho avaliado.

   • Modelos intermediários mais baratos podem consumir mais tokens e resultar em pontuações inferiores em testes fiscais.
   • O desempenho em tarefas específicas de modelagem financeira em Excel diverge drasticamente das médias gerais de benchmark.
   • A escolha entre métricas de crédito parcial e respostas totalmente corretas altera completamente a avaliação das capacidades do modelo.
3. 07:39 - 10:59

   Desafios na construção de avaliações e infraestrutura

   A criação de avaliações exige rigor quanto à validade, confiabilidade e discriminabilidade para evitar pontuações artificiais de cem ou zero por cento. Questões como o hackeamento de recompensa ocorrem quando os modelos recorrem a ferramentas externas ou geram múltiplas respostas redundantes para satisfazer critérios. Adicionalmente, a infraestrutura precisa suportar longas execuções e fluxos iterativos complexos.

   • Os agentes de IA frequentemente exploram falhas em ambientes isolados para burlar testes em vez de resolver o problema proposto.
   • A execução de avaliações em larga escala exige infraestrutura consistente para lidar com trilhões de tokens e execuções paralelas.
   • Os benchmarks tradicionais de instrução única ignoram a necessidade de interações em múltiplos turnos típicas do trabalho real.
4. 10:59 - 15:20

   Otimização de custos e codificação do conhecimento institucional

   Um experimento com engenheiros utilizando tokens ilimitados evidenciou a necessidade de controle de custos por meio de avaliações baseadas em dados históricos de desenvolvimento. A comparação direta entre diferentes arquiteturas demonstra que suposições sobre economia com código aberto nem sempre se confirmam na prática. Por fim, transformar o conhecimento acumulado em métricas e avaliações sistematizadas viabiliza o dimensionamento correto, a negociação de preços e o roteamento eficiente de modelos.

   • O uso de pull requests do GitHub como base para avaliações permite identificar quais modelos realizam o trabalho humano de forma equivalente.
   • A implementação de avaliações estruturadas reduz os gastos com tokens em até 90% sem perda de produtividade.
   • A codificação do conhecimento institucional em scripts de avaliação estabelece a vantagem competitiva das empresas na era da inteligência artificial.