OpenAI 表示,GPT-6 的提示缓存默认提高了共享前缀的缓存命中率,并为 30 分钟窗口内复用的合格前缀提供缓存折扣。开发者可以使用提示缓存仪表板和诊断工具观察命中率、定位缓存未命中原因,并通过显式断点和稳定的工具定义优化可复用上下文。官方称缓存输入 token 的折扣最高可达 90%,实际收益取决于请求结构和复用情况。
编辑提示
以上摘要基于原始来源整理;如需完整上下文、数据和限定条件,请打开原文核对。
SIGNAL AI · 正在加载
OpenAI 介绍 GPT-6 提示缓存的更新,以及用于监测缓存命中和诊断未命中的新工具。
OpenAI 表示,GPT-6 的提示缓存默认提高了共享前缀的缓存命中率,并为 30 分钟窗口内复用的合格前缀提供缓存折扣。开发者可以使用提示缓存仪表板和诊断工具观察命中率、定位缓存未命中原因,并通过显式断点和稳定的工具定义优化可复用上下文。官方称缓存输入 token 的折扣最高可达 90%,实际收益取决于请求结构和复用情况。
以上摘要基于原始来源整理;如需完整上下文、数据和限定条件,请打开原文核对。
原始来源
信号讨论
正在加载讨论…