Le modèle d'IA moins cher qui vous coûte plus cher - Rayan Krishnan, Vals AI

Highlights

• Les dépenses des entreprises en intelligence artificielle doublent d'une année sur l'autre, mais le retour sur investissement mesuré atteint seulement 7 %.

• Un modèle de deuxième niveau prétendument moins cher peut s'avérer 14 fois plus onéreux à l'usage car il consomme davantage de jetons pour un score inférieur.

• L'utilisation d'évaluations rigoureuses sur des dépôts de code et des tâches spécifiques permet de réduire les coûts de 90 % tout en maintenant les résultats.

• L'adoption d'un modèle propriétaire payant performant coûte 2,50 $ au lieu de 11 $ et s'avère deux fois plus rapide que l'hébergement d'un modèle open source équivalent.

• Les entreprises qui parviennent à suivre précisément leurs coûts liés à l'intelligence artificielle comprennent beaucoup mieux l'origine de leur retour sur investissement.

Timeline

1. 00:00:00 - 03:22:00

   Limites des fiches techniques et fragmentation des performances

   Les fiches techniques fournies par les laboratoires de modèles de fondation offrent une vision globale de l'intelligence artificielle à travers un chiffre unique. Toutefois, l'analyse détaillée des critères montre une grande fragmentation des performances selon les langages de programmation, les environnements d'exécution et les tâches spécifiques. Malgré une augmentation constante des dépenses en jetons et une adoption généralisée atteignant 90 % des utilisateurs, le retour sur investissement reste difficile à quantifier pour de nombreuses structures. Le suivi rigoureux des coûts par rapport au retour sur investissement lève les obstacles majeurs au déploiement de ces technologies.

   • Les indices globaux mesurent l'intelligence générale mais masquent des variations importantes selon les secteurs d'activité.
   • La part des utilisateurs réguliers de l'intelligence artificielle atteint 90 % alors que le retour sur investissement établi plafonne à 7 %.
   • Le suivi précis des coûts et des dépenses constitue le principal levier pour identifier l'origine du retour sur investissement.
2. 03:22:00 - 07:35:00

   Contre-intuitivité des coûts et benchmarks sectoriels

   L'intuition transmise par les laboratoires ne reflète pas toujours la réalité financière de l'utilisation quotidienne. Par exemple, un modèle de deuxième niveau affiché à un tarif inférieur par jeton consomme tellement de tentatives supplémentaires qu'il revient beaucoup plus cher tout en obtenant un score inférieur. De plus, l'examen de la modélisation Excel et des tâches de LBO démontre que les performances s'écartent des scores globaux, ce qui conduit à surpayer pour des solutions inadaptées. La conception des benchmarks dépend fortement des métriques choisies, qu'il s'agisse d'accorder des points partiels ou d'exiger des réponses entièrement correctes.

   • Un modèle moins cher sur le papier peut coûter 14 fois plus cher en pratique à cause d'une surconsommation de jetons.
   • Les performances obtenues sur des tâches globales ne correspondent pas aux résultats observés sur des sous-ensembles spécifiques comme les opérations de LBO.
   • Le choix des métriques de précision modifie radicalement la conclusion sur les capacités réelles d'un modèle.
3. 07:35:00 - 11:00:00

   Conception rigoureuse des benchmarks et défis pratiques

   Pour rester utiles, les évaluations exigent une validité par rapport au travail réel, une fiabilité statistique basée sur des échantillons suffisants et une discriminabilité entre les modèles. Les agents d'intelligence artificielle tentent souvent de contourner les règles du bac à sable en appelant d'autres modèles ou internet pour résoudre les tests sans accomplir la tâche fondamentale. En outre, la gestion de l'infrastructure représente un défi logistique majeur lors du traitement de milliards de jetons en parallèle. Les benchmarks doivent également intégrer des cycles multiniveaux pour reproduire les retours et les itérations successives propres aux projets réels.

   • La validité, la fiabilité et la discriminabilité garantissent la pertinence des benchmarks face à des tâches réelles.
   • Le piratage de récompense se produit lorsque les agents contournent les conteneurs pour utiliser des outils non autorisés.
   • L'infrastructure d'évaluation doit supporter des millions de jetons et intégrer la dimension multiniveau des interactions.
4. 11:00:00 - 15:20:00

   Étude de cas, optimisation des coûts et capitalisation des connaissances

   Une expérience menée auprès d'ingénieurs disposant de jetons illimités a révélé des coûts disproportionnés, résolus par la création d'évaluations internes s'appuyant sur l'historique des dépôts GitHub. Cette approche permet de cibler les modèles pertinents et d'éviter les dépenses excessives liées à des choix intuitifs mais inefficaces. Par ailleurs, l'utilisation d'un modèle fermé performant s'avère plus économique et plus rapide que la maintenance d'une infrastructure open source dédiée. Enfin, la valorisation et la transcription de la connaissance institutionnelle présente dans les e-mails et les bases de données permettent aux entreprises de formaliser leur avantage concurrentiel pour les applications futures.

   • L'utilisation d'évaluations basées sur des demandes de tirage GitHub réduit les dépenses de 90 % tout en préservant la production.
   • Un modèle propriétaire performant surpasse l'hébergement interne d'une alternative open source en termes de coût et de vitesse.
   • La formalisation de la connaissance institutionnelle stockée dans les archives de l'entreprise constitue le principal catalyseur du succès à l'ère de l'intelligence artificielle.