Sans mise en cache, votre agent IA coûte 10 fois plus cher - George Cameron, Artificial Analysis

Highlights

• Sans mise en cache des invites, l'exécution d'une tâche d'agent IA peut coûter plus de 200 dollars au lieu de 21 dollars.

• L'accès à un même niveau de performance sur l'indice d'intelligence diminue son coût d'un facteur d'environ dix en l'espace d'une année.

• Le modèle Opus 5.5 atteint un coût de 21 dollars par tâche avec un niveau de raisonnement élevé, contre 1 dollar avec un niveau bas.

• La mise en cache des invites réduit le prix des jetons d'entrée d'un facteur d'environ 10 lorsqu'elle est active.

• L'entreprise Artificial Analysis évalue une pile technologique complète comprenant plus de 500 modèles de langage, des modèles d'image, de vidéo, de parole et de musique, ainsi que les couches d'inférence et de matériel.

Timeline

1. 00:00 - 06:24

   Présentation d'Artificial Analysis et du paysage de l'IA

   Artificial Analysis analyse les compromis entre les différents choix d'inférence, de vitesse, de coût et de taux de réussite du cache. L'indice d'intelligence sert de mesure synthétique pour guider les développeurs dans leurs choix de modèles. Les modèles à poids ouverts se maintiennent généralement dans une fourchette de trois à neuf mois par rapport aux principaux modèles propriétaires.

   • L'entreprise indépendante Artificial Analysis évalue l'ensemble de la pile technologique de l'intelligence artificielle.
   • L'indice d'intelligence synthétise dix évaluations différentes couvrant le raisonnement scientifique, la programmation et l'utilisation du terminal.
   • Le modèle Opus 5.5 d'Anthropic occupe la première place de l'indice d'intelligence.
   • Le rythme des progrès et des sorties de modèles s'accélère continuellement dans le secteur.
2. 06:24 - 15:29

   Analyse des coûts et facteurs d'influence par tâche

   L'évaluation du coût par tâche nécessite de comptabiliser les jetons de raisonnement et de sortie en plus des jetons d'entrée. Le benchmark Briefcase mesure le travail de connaissance d'agents dans un environnement de milliers de fichiers. Les différents niveaux d'effort de raisonnement modifient considérablement le coût global en générant davantage de jetons d'entrée au fil de la trajectoire de l'agent.

   • Les tâches individuelles exécutées par les modèles les plus avancés coûtent plus de 5 dollars, tandis que d'autres modèles coûtent 0,05 dollar ou moins.
   • Le coût d'accès à un niveau d'intelligence déterminé diminue d'un ordre de grandeur en l'espace d'environ un an.
   • Le nombre de jetons d'entrée, la proportion de correspondances en cache et le nombre de tours par tâche constituent les moteurs de coûts essentiels.
   • L'absence de mise en cache des invites fait passer le coût d'une tâche d'agent de 21 dollars à plus de 200 dollars.
3. 05:29 - 19:32

   Stratégies de compromis et prise de décision

   Le choix d'un modèle économique dépend de la classification des tâches entre celles dont le résultat s'améliore avec l'intelligence et celles dont le résultat atteint un plafond. Pour les charges de production, la création d'un benchmark personnalisé aide à maîtriser les ordres de grandeur des coûts actuels.

   • La navigation sur le front de Pareto permet d'identifier le meilleur compromis entre l'intelligence requise et le coût par tâche.
   • Les tâches à intelligence illimitée bénéficient continuellement d'une intelligence accrue, contrairement aux tâches à intelligence limitée.
   • Le produit Optima permet aux utilisateurs de téléverser leur contexte pour construire un benchmark sur mesure et des courbes de compromis.