De meilleurs modèles d'IA ne régleront pas votre équipe d'ingénierie — Nicholas Arcolano, Jellyfish
원제 · Better AI Models Won't Fix Your Engineering Team — Nicholas Arcolano, Jellyfish
핵심 요약
Le choix des modèles d'intelligence artificielle ne détermine pas la productivité des équipes d'ingénierie, l'intensité d'utilisation et les compétences individuelles expliquant la quasi-totalité des performances.
하이라이트
Le choix du modèle d'intelligence artificielle explique moins de un pour cent de la variation du débit des pull requests des ingénieurs.
L'intensité d'utilisation des jetons pèse neuf pour cent, surpassant de neuf fois l'impact de l'outil et doublant la production entre la médiane et les dix pour cent supérieurs.
L'environnement organisationnel et le lieu de travail comptent pour douze pour cent de la variance, avec un écart du simple au double entre les entreprises.
L'utilisation active des compétences spécialisées et des règles personnalisées augmente la productivité de trente pour cent.
L'individu représente le facteur prépondérant avec un écart de 3,5 fois entre les ingénieurs les plus performants et les moins productifs.
타임라인
L'impact négligeable du choix des modèles sur le débit des développeurs
Une analogie avec le golf illustre la tendance à incriminer l'équipement plutôt que les fondamentaux. Si l'historique des performances des clubs de golf et des modèles de langage démontre une progression technologique constante, l'analyse des données réelles de Jellyfish sur des centaines de milliers de développeurs contredit l'idée qu'un meilleur modèle résout les problèmes de productivité. Pousser l'ensemble des ingénieurs vers un nouveau modèle de pointe n'entraîne aucun changement mesurable du volume de code fusionné.
- Le choix du modèle d'intelligence artificielle explique moins d'un pour cent de la variation du débit des pull requests.
- Une expérience naturelle consécutive à l'intégration de Grok dans l'infrastructure de Cursor n'a montré aucune corrélation statistique avec la productivité des ingénieurs.
Les véritables leviers statistiques de la productivité
Une analyse statistique rigoureuse portant sur près de cinquante mille ingénieurs hiérarchise les facteurs de productivité. L'infrastructure et les outils pèsent moins d'un pour cent, loin derrière la maîtrise des compétences, l'intensité de consommation et l'environnement organisationnel. L'individu constitue le facteur prépondérant de cette distribution globale.
- L'intensité d'utilisation des jetons pèse neuf pour cent dans l'explication de la variance, soit neuf fois l'impact de l'outil.
- Le lieu de travail et l'entreprise représentent douze pour cent de la variation, tandis que la maîtrise des compétences spécialisées pèse trois pour cent.
L'influence de la maîtrise et du volume de consommation
L'adoption réelle des compétences d'ingénierie d'intelligence artificielle reste faible en dehors des cercles spécialisés. Pourtant, l'utilisation active de ces compétences modifie significativement le rendement. Parallèlement, le volume brut de jetons consommés agit comme un carburant de fusée, augmentant la production de code mais soumis à des rendements décroissants.
- Près de la moitié des semaines de travail n'affichent aucune utilisation de compétences spécialisées ou de règles personnalisées.
- Atteindre trente exécutions hebdomadaires de compétences génère une hausse de trente pour cent du débit des pull requests.
- Le volume de jetons consommés suit une courbe de saturation où les dix pour cent supérieurs doublent la production de la médiane au prix d'une multiplication par dix de la consommation.
Le poids de l'organisation et de l'individu
La culture d'entreprise, la qualité du code et les processus de revue influencent fortement les résultats à volume de jetons constant. Les leaders d'ingénierie disposent d'un contrôle direct sur cet environnement organisationnel contrairement aux choix des modèles de pointe. De surcroît, le talent individuel surpasse les technologies, et l'arrivée de l'intelligence artificielle ne redéfinit pas fondamentalement l'identité des ingénieurs les plus performants.
- L'écart de productivité entre l'entreprise du décile supérieur et celle du décile inférieur atteint un facteur de deux à dépenses de jetons égales.
- La variabilité entre les ingénieurs est encore plus prononcée, avec un écart de 3,5 fois entre les plus et les moins productifs.
- L'adoption de l'intelligence artificielle ne bouleverse pas la hiérarchie des talents, les meilleurs ingénieurs avant l'intelligence artificielle le demeurant après.
설명
Nicholas Arcolano, head of AI and research at Jellyfish, uses data from about 50,000 engineers at 447 companies to ask how much the model really matters for AI coding output. When Cursor pushed many of its users onto Grok, merged PRs barely moved. Breaking down what drives throughput, the tool explains under 1%, skill use about 3% (heavy skill users see roughly a 30% bump), token usage about 9%, company and team about 12%, and the individual engineer most of the rest. The engineers who were top performers before AI are mostly still the top performers now. His advice for leaders: focus on the people, skills and environment you can control. Chapters: - 00:00 Intro - 00:40 A golf analogy - 02:01 Models keep getting better - 02:59 A natural experiment: the Grok switch - 04:54 What actually drives output - 07:14 The tool - 08:07 How well you use it: skills - 10:00 How much you use it: tokens - 11:23 Where you work - 12:22 You, the individual - 13:42 Is AI reshuffling the top engineers? - 14:50 What leaders can control Nicholas Arcolano, Jellyfish: https://jellyfish.co Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!