如果没有缓存，你的 AI 代理成本将高出 10 倍 - George Cameron，Artificial Analysis
원제 · Without Caching, Your AI Agent Costs 10x More - George Cameron, Artificial Analysis
핵심 요약
提示词缓存能为输入 token 提供约 10 倍的成本折扣，如果缺少这一机制，智能体任务的运行开销将从 21 美元暴增至 200 多美元。
하이라이트
在缺乏提示词缓存的情况下，单个智能体任务的运行成本从 21 美元飙升至超过 200 美元。
领先的闭源模型与具备强大能力的便宜模型之间，单任务成本存在高达两个数量级的差距。
提示词缓存能够为输入 token 价格提供大约 10 倍的折扣，是决定智能体运行成本的核心驱动因素之一。
在访问相同智能水平的前提下，最便宜模型的成本在一年之内大约下降了 10 倍。
开源权重模型紧咬领先闭源模型，时间差距持续保持在 3 到 9 个月以内。
타임라인
Artificial Analysis 的定位与 AI 基准测试全景
该机构对智能体层、语言模型、硬件及推理层进行全面的基准测试，帮助开发者在生产环境中做出权衡决策。各大顶尖实验室广泛参考其评估结果。虽然市面上模型繁多且更新极快，但紧跟最新发布对于掌握 AI 能力至关重要。
- Artificial Analysis 是一家对整个 AI 技术栈进行独立基准测试的公司。
- 智能指数综合了 10 项不同评估，是衡量语言模型通用智能的最佳单一数值。
- AI 行业的进展步伐正在加速，模型发布的数量不断增加。
AI 模型的成本构成与数量级差异
随着智能体的普及，单任务成本的计算变得更加复杂，不仅包含答案 token 和推理 token，还涉及长视距轨迹中的多轮交互。输入 token 价格与缓存命中率是执行长任务时成本的最大驱动因素。若不启用提示词缓存，开销将出现十倍以上的增长。
- 领先模型完成单个任务的成本超过 5 美元，而轻量模型则在 0.05 美元及以下。
- 智能体任务的成本受输入 token 数量、缓存命中率以及交互轮数的显著影响。
- 在没有提示词缓存支持时，单个任务成本会从 21 美元飙升至 200 多美元。
任务分类与模型选择的权衡策略
面对庞大的成本量级，开发者应当根据任务性质选择最合适的模型。对于有限智能任务，应当寻找满足该智能上限的最便宜获取方式；对于无限智能任务，则需根据预算决定愿意支付的智能溢价。通过建立自定义基准测试或使用 Optima，能够有效协助企业在生产环境中做出最优选择。
- 任务可以被划分为追求更高智能带来更好结果的无限智能任务，以及智能上限明确的有限智能任务。
- 构建者需要通过帕累托前沿曲线来平衡任务所需的智能水平与每项任务的成本。
- Optima 能够帮助用户上传上下文并生成专属的权衡曲线来优化决策。
설명
Some models now cost dollars to complete a single task, while others cost a few cents. George Cameron, co-founder of Artificial Analysis, breaks down what actually drives agent costs in 2026: input tokens, cache hit rate and the number of steps. In one example, an agent task costs about $21 with caching and over $200 without it. He then shows how to decide when you need the smartest model and when a cheaper one gives the same answer. 0:00 Intro to Artificial Analysis 2:47 The AI landscape and the Intelligence Index 5:25 Progress is accelerating 6:27 Open weights models stay close behind 6:53 Why cost matters now 8:53 Intelligence gets about 10x cheaper every year 10:18 Breaking down the cost of an agent task 12:59 Why caching matters so much 13:38 Reasoning effort and cost 15:30 Making the trade-off decision 17:02 Limited vs. unlimited intelligence tasks 18:12 How to shortlist and benchmark models George Cameron, Artificial Analysis: https://artificialanalysis.ai Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!