利好
GPT-6 Astra 支持无损换挡,长对话缓存复用率不再骤降
23:31
Responses API新增配置更新,允许动态调整推理强度而不重置Prompt缓存,解决切换档位导致缓存命中率暴跌问题。
据 Woofun AI 消息,OpenAI 为 GPT-6 Astra 模型新增 configuration_update 功能,支持在 Responses API 的同一长对话中动态调整 reasoning effort 参数。该更新允许用户在处理复杂任务时提高思考强度,或在简单任务中降低强度,而无需重写已缓存的 Prompt 前缀,从而保持长上下文的缓存复用。
此前,中途切换推理档位会导致大量缓存失效,造成成本浪费。实测数据显示,切换档位后缓存命中率曾从 98.5% 骤降至 65%,需重新建立缓存后才能恢复至 97% 以上。此次改进使得长时间运行的 Agent 能够根据任务难度灵活调整计算资源,避免因参数变更导致数十万 Token 的缓存被重新处理。
WOOFUN AI
影响力评估 · 一键速读
该更新解决了长上下文应用中因动态调整推理强度导致的缓存失效痛点,显著降低了高负载场景下的 API 调用成本。对于依赖 GPT-6 Astra 构建复杂 Agent 的应用而言,这意味着可以在保证响应质量的同时优化 Token 消耗效率。缓存复用率的稳定有助于提升大规模并发场景下的系统稳定性与经济性。
WOOFUN AI 生成 · 仅供参考,非投资建议
评论
暂无评论