Revolut 如何使用自托管开源模型将 AI 编码成本降低 90% - David Abitbol，Revolut

Highlights

• Revolut 为 2000 名工程师自托管 GLM 开源模型，将编码时间缩短了 60%，交付周期缩短了 70%。

• 自托管 GLM 的混合 Token 成本降至每百万个 Token 0.30 美元，仅为 Anthropic 和 OpenAI 费用的十分之一。

• 托管 GLM 5.3 需要 56 张 B200 GPU，目标首字延迟必须控制在 3 秒以内。

• 在需求增长 76% 的情况下，通过系统参数优化，首字延迟从 10 秒以上降至 1.6 秒左右。

• 从 FP8 升级到 FP4 量化配置，GPU 占用空间减少 40% 且精度零损失。

Timeline

1. 00:00 - 03:00

   Revolut 的工程背景与 AI 采用现状

   演讲者大卫介绍了 Revolut 的基本业务规模以及工程团队的背景。随着 2025 年初 Cloud Code 的引入，工程师的交付周期缩短了 10%，编码时间缩短了 20%。然而，由于商业前沿模型的 Token 花费巨大，公司对 AI 成本持高度怀疑态度并设置了严格预算限制，这促使团队开始寻找低成本的开源替代方案。

   • Revolut 拥有 8000 万客户，业务遍及 45 个市场，是欧洲最大的私营公司。
   • 公司高度注重工程文化和快速产品交付。
   • 早期引入 Gemini 和 Cloud Code 虽缩短了交付周期，但带来了每位工程师每月高达数千美元的高昂成本。
2. 03:00 - 04:24

   转向自托管开源模型及成效

   开源方案彻底改变了工程团队的工作方式。数据表明，AI 对整体交付周期的影响大于单纯的编码时间，因为自动化工具减少了查阅文档和处理行政任务的时间。目前，开源模型已成为 Revolut 的首要任务，账单金额保持平稳，而 Codex 和 Claude Code 等前沿模型则作为特例保留。

   • 团队在 2026 年 4 月左右开始自托管用于编码的 GLM 开源模型。
   • GLM 5.1 的引入使编码时间缩短了 60%，交付周期缩短了 70%。
   • 充足的 Token 供应消除了预算顾虑，使工程师能够随时使用 AI 而无需将 Token 留到月底。
3. 04:24 - 05:46

   自托管的硬件配置与性能指标

   自托管需要明确的核心指标支撑。吞吐量方面，提供的标准服务为每秒 200 个 Token，完全满足并行任务的需求，而在 GPU 较空闲的时段甚至能达到每秒 800 个 Token。通过精细的资源配置，团队实现了极高的经济效益和可预测的固定账单。

   • 服务 2000 名工程师托管 GLM 5.3 需要大约 56 张 B200 GPU。
   • 首字延迟的目标是控制在 3 秒以内，超过 5 秒会引起用户强烈不满。
   • 自托管混合 Token 的成本为每百万个 Token 0.30 美元，是商业 API 费用的十分之一。
4. 05:46 - 08:14

   推理优化与关键参数调整

   盲目扩容无法解决性能瓶颈，系统调优至关重要。参数调整涵盖了上下文长度控制、量化级别选择、张量并行度设计以及缓存命中率优化。通过这些技术手段，团队在不增加 GPU 数量的前提下大幅提升了系统吞吐量和响应速度。

   • 简单的 GPU 权重上传无法获得良好性能，必须进行大量的推理参数调优。
   • 在需求增长 76% 的情况下，优化后首字延迟从 10 秒以上降至 1.6 秒左右。
   • 使用 Blackwell 架构 GPU 时推荐采用 FP4 量化，相比 FP8 可减少 40% 空间且零精度损失。
5. 08:14 - 11:44

   生产环境设置与合规治理

   针对生产环境的局限性，可以通过路由机制灵活调度不同模型。在合规与安全方面，由于受欧盟监管，团队通过沙盒限制操作权限（例如允许 grep 但不允许 gradle），有效防止了违规使用并向监管机构证明了人工监督的存在。最后，配合强大的开放式遥测技术，确保了整个基础设施的安全与透明。

   • 纯文本的 GLM 模型可以通过本地路由器配合多模态模型来处理图像识别任务。
   • 自托管模型只需要获取权重并在本土服务部署，不涉及与特定国家共享专属推理端点。
   • 通过建立沙盒和权限批准机制，确保有人在回路中以满足欧盟银行的严格合规要求。