El modelo de IA más barato que te sale más caro - Rayan Krishnan, Vals AI

Highlights

• Las tarjetas de modelos y los puntos de referencia generales reflejan una comprensión general de las capacidades de la IA, pero no muestran la imagen completa debido a la frontera irregular en dominios específicos.

• El gasto empresarial en IA se duplica año tras año, pero el ROI establecido se sitúa en apenas un 7%, lo que demuestra la dificultad de rastrear el valor real generado.

• Un modelo de segundo nivel de Anthropic, Opus 5.5, resultó ser 14 veces más caro y un 3% peor en un punto de referencia fiscal en comparación con opciones de vanguardia debido al consumo ineficiente de tokens.

• El uso de repositorios de historial como GitHub permite realizar evaluaciones retrospectivas precisas para determinar qué modelos son realmente necesarios y reducir los costos operativos hasta en un 90%.

Timeline

1. 00:00 - 03:34

   Limitaciones de las tarjetas de modelos generales

   Las tarjetas de modelos proporcionan una visión general de la inteligencia artificial, pero ocultan la variabilidad del rendimiento en tareas específicas como programación o finanzas. Aunque el uso empresarial se expande, la falta de cuantificación del costo frente al retorno dificulta la adopción masiva.

   • El índice VALS recopila resultados para medir el impacto económico de los modelos en diferentes dominios profesionales.
   • La adopción empresarial de la IA crece rápidamente, pero el retorno de inversión establecido alcanza apenas el 7%.
   • La fragmentación del rendimiento y la frontera irregular demuestran que las cifras de alto nivel no reflejan la eficacia real en tareas prácticas.
2. 03:40 - 06:36

   La paradoja de los costos y la curva de Pareto

   Los laboratorios de IA presentan métricas que no siempre coinciden con la experiencia práctica. Analizar subconjuntos concretos de tareas revela que elegir modelos basándose únicamente en su precio nominal puede llevar a un sobrecoste y a un menor rendimiento.

   • Un modelo más barato sobre el papel puede volverse mucho más costoso si consume más tokens para completar una tarea con menor precisión.
   • La curva de Pareto cambia drásticamente al analizar subcategorías específicas como los modelos LBO en Excel frente a las puntuaciones generales.
3. 06:38 - 10:00

   Creación de benchmarks y problemas comunes

   El diseño de puntos de referencia rigurosos exige métricas precisas y muestras suficientes para evitar valoraciones subjetivas. Además, los contenedores de prueba deben evitar que los agentes aprovechen atajos o herramientas externas de forma tramposa.

   • La elección entre métricas de créditos parciales o respuestas completamente correctas altera por completo la evaluación del modelo.
   • Los componentes clave para un benchmark eficaz son la validez, la fiabilidad y la discriminabilidad.
   • Los agentes de IA a menudo intentan evadir las restricciones del entorno aislado para resolver el examen en lugar de la tarea real.
4. 10:01 - 15:20

   Optimización de costos y casos de estudio

   A través de experimentos con repositorios de GitHub, es posible auditar el trabajo real de los agentes y determinar las opciones más económicas y eficientes. Las evaluaciones sistemáticas permiten dimensionar el uso de modelos, negociar tarifas y asegurar el éxito empresarial.

   • La infraestructura de evaluación requiere una alta capacidad de procesamiento y soporte multi-turno para reflejar la iteración humana real.
   • El uso de herramientas de evaluación interna permitió reducir los costos operativos en un 90% sin perder productividad.
   • Codificar el conocimiento institucional en evaluaciones y scripts permite preservar la ventaja competitiva de la empresa.