Los mejores modelos de IA no arreglarán a tu equipo de ingeniería — Nicholas Arcolano, Jellyfish
원제 · Better AI Models Won't Fix Your Engineering Team — Nicholas Arcolano, Jellyfish
핵심 요약
La elección del modelo de inteligencia artificial influye en menos del 1% del rendimiento de ingeniería, mientras que las habilidades individuales, el volumen de uso y el entorno de trabajo determinan la productividad real.
하이라이트
La elección del modelo de IA explica menos del 1% de la variabilidad en el rendimiento de las solicitudes de extracción fusionadas por ingeniero.
El factor individual del ingeniero representa aproximadamente tres cuartas partes de la variación total en la productividad de desarrollo con inteligencia artificial.
Un nivel alto de uso de habilidades supera las 30 ejecuciones semanales y genera un aumento del 30% en la producción de solicitudes de extracción.
El consumo bruto de tokens muestra rendimientos decrecientes, donde el 10% superior gasta 10 veces más tokens para duplicar el rendimiento en comparación con la mediana.
La cultura de la empresa y del equipo genera una diferencia de rendimiento de dos veces entre el 10% superior y el 10% inferior.
타임라인
La analogía del golf y el impacto real de los modelos de inteligencia artificial
Las mejoras tecnológicas en las herramientas y modelos generan expectativas elevadas sobre el rendimiento instantáneo. Sin embargo, un análisis natural basado en el cambio masivo de desarrolladores hacia el modelo Grok demuestra que modificar únicamente el modelo de inteligencia artificial no altera la cantidad de solicitudes de extracción fusionadas por ingeniero.
- Los datos históricos del PGA Tour muestran que los avances en los palos de golf aumentaron la distancia de conducción en un 20% desde 1980.
- Un cambio masivo en la interfaz hacia el modelo Grok en la plataforma Cursor no mostró ninguna correlación estadística con la producción de solicitudes de extracción fusionadas por ingeniero.
El desglose estadístico de los factores de productividad en la ingeniería
Para medir con precisión qué impulsa la productividad real, se evalúa un modelo estadístico basado en cuatro palancas principales: la herramienta, el nivel de uso de habilidades, el volumen de consumo de tokens y el entorno organizativo, además del factor individual del desarrollador. Los resultados indican que la herramienta en sí misma tiene un peso estadístico mínimo en comparación con los hábitos de uso y las capacidades personales.
- El análisis de un subconjunto de 50.000 ingenieros en 447 empresas desglosa el impacto de las variables en la productividad de desarrollo.
- Las herramientas y modelos representan menos del 1% de la variación en el rendimiento de las solicitudes de extracción.
El impacto del uso de habilidades y el volumen de tokens
Cambiar entre diferentes familias de modelos no modifica significativamente el rendimiento de las solicitudes de extracción, pero la implementación sistemática de habilidades de inteligencia artificial sí genera un impacto medible. Al mismo tiempo, el gasto de tokens funciona con rendimientos decrecientes, donde duplicar la producción requiere multiplicar por diez el consumo de tokens en comparación con la mediana de los usuarios.
- El uso activo de habilidades personalizadas y reglas de entorno representa un 3% de la variación y aumenta la producción de solicitudes de extracción en un 30% al superar las 30 ejecuciones semanales.
- El consumo bruto de tokens impulsa el rendimiento con una curva de saturación de rendimientos decrecientes.
La influencia de la organización y el perfil del individuo
Las características propias de la organización y la cultura del equipo determinan una diferencia de dos veces en la producción entre las mejores y peores empresas con un consumo diario fijo. Sin embargo, la mayor parte del rendimiento recae en el propio individuo. El análisis longitudinal de diez años demuestra que la inteligencia artificial no nivela el terreno de juego ni reordena las jerarquías de talento, ya que la destreza técnica tradicional sigue siendo el factor determinante de la productividad.
- El entorno de trabajo, compuesto por la empresa y el equipo, explica el 12% de la variabilidad en el rendimiento de ingeniería.
- El individuo representa tres cuartas partes del modelo estadístico, con una diferencia de 3.5 veces entre el 10% superior y el 10% inferior.
- Los mejores ingenieros antes de la llegada de la inteligencia artificial siguen siendo los mejores ingenieros después de adoptarla.
설명
Nicholas Arcolano, head of AI and research at Jellyfish, uses data from about 50,000 engineers at 447 companies to ask how much the model really matters for AI coding output. When Cursor pushed many of its users onto Grok, merged PRs barely moved. Breaking down what drives throughput, the tool explains under 1%, skill use about 3% (heavy skill users see roughly a 30% bump), token usage about 9%, company and team about 12%, and the individual engineer most of the rest. The engineers who were top performers before AI are mostly still the top performers now. His advice for leaders: focus on the people, skills and environment you can control. Chapters: - 00:00 Intro - 00:40 A golf analogy - 02:01 Models keep getting better - 02:59 A natural experiment: the Grok switch - 04:54 What actually drives output - 07:14 The tool - 08:07 How well you use it: skills - 10:00 How much you use it: tokens - 11:23 Where you work - 12:22 You, the individual - 13:42 Is AI reshuffling the top engineers? - 14:50 What leaders can control Nicholas Arcolano, Jellyfish: https://jellyfish.co Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!