1、如果没有缓存，你使用智能体的成本将会多出 260%。以 Fable 5.1 为例，常规任务成本会从开启缓存的 7.44 美元飙升至 27 美元。
2、在最昂贵的 5% 重度任务中，若无缓存，GPT-6 Astra 和 Fable 5.1 的单次任务成本将从 115–220 美元暴涨至约 800 美元。
3、2024 年初行业内还没有缓存折扣，到了今天，OpenAI，Anthropic 和 Google 等模型的缓存读取价格，已经降低至输入原价的 5% 及以下，DeepSeek 更是低至 2%。
4、为什么 Agent 极度依赖缓存呢？因为大模型在每次调用之间没有记忆，Agent 执行循环的每一步都必须将完整的历史对话重新发给大模型。在 Agent 消耗的 Token 中，86% 至 96% 都是重复读取已见过的上下文，模型真正自己生成的输出仅占 1% 至 2%（平均每输出 1 个 Token 就要重读约 93 个 Token）。
5、那什么时候会触发缓存失效呢？一个是缓存到期（如 Anthropic 默认保留 5 分钟，OpenAI 默认 30 分钟，用户暂时离开或工具执行过久就会超时），一个是对话前缀被修改（如总结历史消息以节省空间，编辑重试早期消息，更换工具），还有就是服务商因高负载或服务器路由切换而丢弃缓存。
6、每次缓存一失效，整个历史对话要按全额原价重新计费。单次失效会让常规任务成本增加约 5%，在 10% 的会话中增幅超过 13%–21%。
7、在长对话中多次中断的话，会让成本急剧膨胀（例如某次 Fable 5.1 会话因短暂休息经历了 6 次缓存失效，导致总费用增加了 42%），这也正是 OpenAI 最新推出 API 12 小时缓存以及 Codex/Work 永不过期缓存备受关注的核心原因。
#how i ai#