更便宜的人工智能模型反而让你花更多钱 - Rayan Krishnan, Vals AI

하이라이트

• 企业在人工智能上的支出同比大约增长了两倍，但投资回报率的比例仅为 7%。

• 低成本或智能较低的模型往往会消耗更多的 token 来尝试完成工作，导致在特定税务基准测试中实际成本高出 14 倍且得分低 3%。

• 团队内部通过构建名为 BellSmith 的评估工具并进行精细化模型匹配，使支出减少了 90% 但依然获得了相同的产出。

• 严谨的评估体系能为企业带来规模化调整、批量定价谈判、智能路由和微调后训练等四大核心优势。

타임라인

1. 00:00 - 03:34

   模型卡片与现实表现的差距

   各大基础模型实验室发布的基准测试和模型卡片反映了模型的通用智能水平，但在金融、法律和编程等垂直领域中表现出明显的“参差不齐的边界”。随着企业采用率的大幅上升，由于缺乏清晰的成本追踪和评估机制，投资回报率依然非常晦涩难懂，成为广泛推广人工智能的一大瓶颈。

   • 通用模型卡片提供的单一宏观数字无法完全揭示模型在特定垂直领域的真实胜任能力。
   • 企业在人工智能上的支出同比大约增长了两倍，但确立投资回报率的比例仅为 7%。
   • 能够真正追踪人工智能成本和支出的群体，要更有可能理解投资回报率的来源。
2. 03:34 - 06:32

   为什么更便宜的模型反而花更多钱

   实验室展示的直觉与实际体验往往不符。智能较低的模型会试图消耗更多的 token 来尝试完成任务，最终不仅花费更高，得分反而更低。因此，排在最前面的通用模型往往不如与公司内部最相关的任务子集和成本效益优化来得重要。

   • 第二梯队模型在纸面上看单价更低，但在实际税务基准测试中因为消耗更多 token 导致总成本高出 14 倍。
   • 金融智能体基准测试涵盖金融研究 SaaS、Excel 建模和税务智能体等多个子集。
   • 当视角从整体性能转向具体的杠杆收购任务时，原本表现较好的模型会掉出帕累托前沿。
3. 06:32 - 10:58

   构建评估体系的维度与挑战

   构建基准测试时，必须确保问题能够反映实际工作，并且具备充足的样本量和前瞻性。现有的许多基准测试处理的都是单提示、单响应，但在实践中一切都是多轮迭代的，且在基础设施方面运行长时间代理评估也面临着巨大的挑战。

   • 选择部分得分或完全正确答案等不同的准确率指标，会得出截然不同的结论。
   • 构建基准测试需要考虑有效性、可靠性和区分度这三个核心维度。
   • 智能体在沙盒环境中可能会试图调用其他模型来进行奖励作弊或逃脱限制。
4. 10:58 - 15:20

   案例研究与人工智能应用的新突破口

   团队通过倒回 GitHub 仓库的历史任务，让代理进行同等测试，从而清晰辨别哪些模型是大材小用。建立评估体系后，企业可以实现规模化调整、批量定价谈判、智能路由以及微调后训练，最终将机构知识转化为明确的脚本和文字以确保竞争优势。

   • 某 10 到 12 人团队在一个月内花费了价值 150 万美元的 token，随后通过内部评估工具将支出减少了 90%。
   • 使用外部评估集进行对比发现，闭源优化托管方案在特定任务上的表现和性价比优于部分开源方案。
   • 评估体系能够将员工头脑中的机构知识编成规范，成为企业在人工智能时代取得成功的最大突破口。