更好的 AI 模型救不了你的工程团队 — Nicholas Arcolano，Jellyfish

하이라이트

• 在 SpaceX 宣布收购 Cursor 前后，Grok 的使用量迎来了激增，但根据 Jellyfish 追踪的数据显示，工程师的 PR 吞吐量并没有发生显著变化。

• 在一项涵盖 447 家公司约 5 万名工程师的数据分析中，工具（模型和框架）在工程师 PR 吞吐量的变异中解释的比例不到 1%。

• 技能的使用占 PR 吞吐量变化的 3%，当每位工程师每周使用技能超过 30 次时，能够带来 30% 的生产力提升。

• Token 的消耗量对 PR 吞吐量有 9% 的解释力，消耗前 10% 的 Token 量可以让产出翻倍，但代价是大约 10 倍的 Token 消耗。

• 公司与团队的组织环境占 PR 吞吐量的 12%，在消耗量固定的情况下，前 10% 与后 10% 的公司之间存在两倍的产出差距。

• 个人因素占据了 PR 吞吐量变异性的最大部分（约占三之分四），顶级工程师与底层工程师之间存在 3.5 倍的差距。

• 引入人工智能前后，顶级工程师的排名保持了相对稳定，半年内跌出前四分之一的比例从 44% 略微下降至 41%。

타임라인

1. 00:00 - 04:49

   高尔夫类比与 Grok 自然实验

   演讲从高尔夫运动中“更换球杆与打磨基本功”的类比切入，探讨了人们对技术工具的迷思。随后引入了 Jellyfish 庞大的工程数据集，并分析了 Grok 在 Cursor 中使用量飙升这一外部冲击。通过对比工程师转向 Grok 前后的 PR 吞吐量，数据给出了一个意外的结论：单纯更换模型并没有直接带来产出的提升。

   • 高尔夫球杆的技术进步使平均开球距离在过去几十年中增长了 20%。
   • Jellyfish 拥有涵盖数十万名开发者和 1300 家公司的代码与 AI 遥测数据集。
   • Cursor 在 UI 中大力推广 Grok 后引发了 Grok 使用量的激增，形成了自然实验。
   • 数据表明，转向 Grok 的工程师在合并拉取请求（PR）的数量上没有表现出统计学上的相关变化。
2. 04:49 - 07:18

   影响工程产出的五大因素与统计模型

   为了解开模型影响不大的谜团，分析缩小了范围，聚焦于精选的 5 万名工程师数据。通过系统性拆解，各项因素对开发吞吐量的解释比例被精确量化。工具仅占微不足道的份额，而使用频率、团队文化以及工程师自身的个体差异构成了影响产出的核心。

   • 研究对涵盖 447 家公司和约 50,000 名工程师的数据集进行了宏观统计分析。
   • 工具选择对 PR 吞吐量的解释力不到 1%。
   • 技能使用（如 Cursor 规则和自定义框架）占 3%，使用频率（Token 消耗）占 9%。
   • 团队与公司环境占 12%，而个人因素占了总变异的三分之四。
3. 07:18 - 11:14

   工具与技能的实际效能拆解

   这一部分逐一审视了等式左侧的变量。模型切换和框架更换并未带来预期的生产力跃升。技能虽然潜力巨大，但在现实开发中的普及率依然较低。同时，Token 消耗量与产出成正比，但呈饱和曲线，高消耗伴随着高昂的成本边际递减。

   • 频繁切换模型和框架在统计学上对 PR 吞吐量没有产生有意义的实质影响。
   • 现实中近一半的开发周数完全没有使用技能，仅有 12% 的人达到现代 AI 工程的标准。
   • 当每位工程师每周使用技能超过 30 次时，可以带来 30% 的产出提升。
   • Token 消耗量呈现边际效益递减，前 10% 的消耗量能实现两倍产出，但代价是 10 倍的 Token 成本。
4. 11:14 - 16:31

   组织环境与个人因素的核心作用

   演讲转向了等式右侧更具决定性的因素。组织环境不仅受到团队代码库和评审流程的影响，也给领导者提供了切入改良的空间。个人能力的离散度极大，且 AI 并未拉平所有人的起跑线。核心结论指出，当成果不佳时，应审视团队与自身的日常实践，而非盲目将责任归咎于模型。

   • 公司和团队因素（代码库、评审流程、文化）在固定消耗量的情况下仍能带来两倍的产出差距。
   • 工程师个体之间的差异最大，顶尖 10% 与后 10% 之间存在 3.5 倍的差距。
   • 引入 AI 并未彻底洗牌工程师的排名，AI 出现前的顶尖工程师在 AI 时代依然表现最好。
   • 工程团队的领导者无法控制基础模型，但能够掌控组织环境与团队效能。