返回

文章详情

AWS Bedrock bug导致10倍收费的Codex

Hacker News2026年8月21日 03:17

摘要:本地Codex CLI请求Amazon Bedrock Mantle无法选择进入GPT-5.6 Sol明确的提示缓存。在一个自主编码的工作负载上,这产生了大量的缓存写入令牌,并且成本显著上升。这与#35300有关,但增加了来自本地amazon-bedrock提供者的独立生产使用证据。环境:Codex CLI:0.147.0,提供者:本地amazon-bedrock,端点:Bedrock Mantle响应API,us-east-1,模型:openai.gpt-5.6-sol。观察到的生产使用情况:对于2026年8月5日至2026年8月8日的已完成天数,成本探查器的使用量和Bedrock费率卡为Sol生成了以下缓存感知估计:请求数量 缓存写入令牌 估计缓存写入成本 估计总成本 3,656 171.94M $1,182.09 $1,386.46,缓存写入约占模型估计开支的85%。本地Codex会话还报告了76个Sol请求,写入缓存输入令牌为6.709M,零缓存输入令牌,每个请求的平均缓存写入令牌约为88K。在相应的CloudWatch指标中没有客户端错误。这些是基于使用情况的估计,并非最终的AWS发票金额。调查:Codex已经发出会话范围的prompt_cache_key,但HTTP和WebSocket响应请求的请求类型都未包含以下任一项:prompt_cache_options 和 prompt_cache_breakpoint。内置的Amazon Bedrock提供者配置暴露了传输/身份验证设置,而不是结构化请求主体转换,因此无法通过config.toml进行配置。AWS文档明确缓存模式专为具有长稳定说明/工具定义后跟更改工具和用户内容的自主工作流上的GPT-5.6而设计。那与上述工作负载相符。请求的行为:为支持的Responses提供者增加序列化prompt_cache_options的支持。为支持的输入内容块添加类型化的prompt_cache_breakpoint字段。提供一个提供者/模型能力门和Codex测量的稳定指令/工具前缀末尾的安全放置策略。在每回合的使用遥测中呈现缓存读取和缓存写入,以便用户能够诊断代价高昂的全前缀重写。范围:该报告并不声称每个缓存写入都是缺陷。冷启动、真正不同的提示、分叉和压缩都可能需要写入。问题在于本地Bedrock Codex目前没有办法使用稳定前缀情况下的文档明确缓存机制。

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡