Melhores Modelos de IA Não Vão Consertar Sua Equipe de Engenharia — Nicholas Arcolano, Jellyfish
원제 · Better AI Models Won't Fix Your Engineering Team — Nicholas Arcolano, Jellyfish
핵심 요약
A escolha do modelo de IA tem impacto estatisticamente irrelevante na produtividade da engenharia, enquanto o comportamento individual, o volume de tokens e o ambiente de trabalho determinam os resultados.
하이라이트
A escolha de ferramentas e modelos de IA representa menos de 1% da variação no rendimento de Pull Requests mesclados por engenheiro.
O volume de uso de tokens duplica a produção entre a mediana e os 10% principais, embora exija um consumo cerca de 10 vezes maior.
Aproximadamente metade das semanas de engenharia analisadas não apresenta nenhum uso de habilidades de IA.
O fator individual do engenheiro responde pela maior parte da variação na produtividade, com uma dispersão expressiva entre os extremos.
A utilização de mais de 30 execuções de habilidades por engenheiro por semana resulta em um aumento de 30% na vazão de Pull Requests.
타임라인
A Analogia do Golfe e a Fronteira dos Modelos
O chefe de pesquisa da Jellyfish introduz a premissa de que os problemas de desempenho com IA geralmente decorrem do usuário e não da tecnologia. Utilizando dados de um conjunto massivo de desenvolvedores, analisa-se o impacto de um choque externo de mudança de modelo para avaliar se a produtividade realmente aumenta com ferramentas melhores.
- O avanço constante dos modelos de IA na indústria assemelha-se à evolução tecnológica dos tacos de golfe.
- Um experimento natural na empresa Jellyfish analisou a adoção em massa do modelo Grok após alterações na interface do Cursor.
- A transição em massa para o Grok não gerou alteração estatística na produtividade de Pull Requests mesclados por engenheiro.
Fatores Determinantes da Produtividade em Engenharia de IA
Uma análise estatística detalhada de 50.000 engenheiros em 447 empresas divide os fatores de produtividade. Enquanto a escolha da ferramenta tem impacto mínimo, o domínio das habilidades e práticas de uso eleva a vazão de Pull Requests em até 30% quando executado intensivamente.
- A ferramenta ou modelo de IA responde por menos de 1% do controle sobre a variação de Pull Requests mesclados.
- A habilidade de uso e a personalização do harness representam cerca de 3% da variação na produtividade.
- Cerca de metade das semanas analisadas no ambiente real não registra qualquer uso de habilidades de IA.
Consumo de Tokens, Cultura da Empresa e o Fator Individual
O consumo bruto de tokens atua como combustível de foguete com retornos decrescentes. Fatores organizacionais e individuais demonstram que os melhores engenheiros continuam sendo os mesmos, refutando a narrativa de que a IA nivela completamente o desempenho técnico.
- O volume de tokens consumidos duplica a produção entre a mediana e os 10% principais, com retornos decrescentes.
- O ambiente de trabalho e a cultura da equipe respondem por 12% da variação na produtividade com consumo fixo.
- O indivíduo representa a maior fatia do modelo estatístico, mantendo-se a estabilidade dos principais engenheiros antes e depois da IA.
설명
Nicholas Arcolano, head of AI and research at Jellyfish, uses data from about 50,000 engineers at 447 companies to ask how much the model really matters for AI coding output. When Cursor pushed many of its users onto Grok, merged PRs barely moved. Breaking down what drives throughput, the tool explains under 1%, skill use about 3% (heavy skill users see roughly a 30% bump), token usage about 9%, company and team about 12%, and the individual engineer most of the rest. The engineers who were top performers before AI are mostly still the top performers now. His advice for leaders: focus on the people, skills and environment you can control. Chapters: - 00:00 Intro - 00:40 A golf analogy - 02:01 Models keep getting better - 02:59 A natural experiment: the Grok switch - 04:54 What actually drives output - 07:14 The tool - 08:07 How well you use it: skills - 10:00 How much you use it: tokens - 11:23 Where you work - 12:22 You, the individual - 13:42 Is AI reshuffling the top engineers? - 14:50 What leaders can control Nicholas Arcolano, Jellyfish: https://jellyfish.co Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!