首页
学习
活动
专区
圈层
工具
发布

OpenAI削减Codex上下文窗口,开发者怨声载道

OpenAI近期对旗下Codex编程智能体进行了更新,此举引发开发者对大型代码库和长时间AI辅助会话受影响程度的担忧。

本次Codex CLI更新将GPT-5.6的默认输入上下文窗口从372,000个Token缩减至272,000个Token。

实际上,这意味着编程智能体在压缩旧有上下文、为新信息腾出空间之前,所能保留的代码量、对话历史及其他会话信息都将减少。这一变化在Reddit和X平台上引发了部分开发者的批评,矛头直指缩减后的Token窗口。

尽管OpenAI未公开说明此次更新的原因,但多名开发者已在社交媒体上质疑这一决定,有人认为此举会更早触发上下文压缩机制,从而降低Codex在长时间编程会话中的表现。另有开发者担忧,较小的上下文窗口可能导致需要更频繁地进行上下文管理或重置会话,不过也有人指出,实际影响因项目规模和工作流结构的不同而存在差异。

分析师认为,上下文窗口的缩减可能影响开发者生产力,也可能影响自主智能体在企业工作流中的普及推广。

"Codex的上下文缩减不太可能影响修复漏洞或涉及少量文件修改等常规编程任务,但可能会对大型代码库、跨仓库重构以及长时间运行的会话产生影响。"Pareekh Consulting首席分析师Pareekh Jain表示。

"每个会话的记忆缩短,意味着AI智能体在长时间编程会话中会更早遗忘前期内容。智能体可能需要更频繁地进行上下文摘要或重新加载,这将导致更多重复搜索、偶尔丢失早期决策,以及开发者需要不断重建上下文。"Jain补充道。

FinOps服务商ZopDev的云计算助理Muskan Bandta认为,这种对手动上下文管理的依赖完全有悖于Codex类工具承诺开箱即提升生产力的"核心卖点":"很多开发者表示,他们的会话现在花在上下文压缩上的时间比实际工作还多。"

"上下文缩减或许不会直接推高账单,但会体现为更多重试、更多压缩,以及工程师花费更多时间'伺候'这个工具。费用只是从账单上转嫁到了团队的时间成本上。"

IT咨询公司Kanerika的AI开发经理Amit Jena表示,上下文缩减将迫使开发团队在两个选项之间做出抉择:要么接受智能体在信息不完整的情况下进行推理,要么重新学习围绕上下文压缩设计新的架构约束。

Jena指出,开发团队需要主动设计上下文管理工作流:将工作拆分为更小的任务、更多依赖检索机制,并监控上下文的消耗情况。

Bandta对这种被迫的工程设计约束表示认同,并指出这将拖慢企业对智能体驱动工作流的采纳进程:"上下文是智能体的工作记忆,将其削减三分之一,会从根本上改变你能信任它完成哪些任务。"

更宏观来看,分析师们指出,此次事件再次提醒企业,应避免将软件开发工作流与托管AI编程平台的当前运行特性深度绑定,因为上下文限制、定价、运行时行为以及模型可用性都可能在几乎没有任何预告的情况下发生变化。

"企业应避免依赖单一的上下文窗口,持续在真实工作负载上对AI编程工具进行基准测试,并围绕检索、模块化设计和智能体编排来构建工作流,从而在模型持续演进的过程中保持弹性。"Jain建议道。

Kanerika的Jena持相同观点:"正确的做法是构建在运行参数变化时能够平稳降级的AI辅助开发流水线:监测上下文消耗情况,不要硬编码上下文预算,并将供应商当前的规格参数视为起点而非契约。"同样,Bandta建议企业将托管AI编程平台视为任何其他关键软件依赖:"不要构建只在某个限制边界才能正常运行的系统,保持足够的灵活性,确保不会因某家供应商改变规则而陷入被动。"

Q&A

Q1:Codex上下文窗口缩减对大型项目有什么具体影响?

A:上下文从372,000个Token缩减至272,000个Token后,Codex智能体能在压缩旧内容前保留的代码、历史记录等信息更少。对于大型代码库、跨仓库重构和长时间会话影响较大,智能体会更早遗忘前期内容,可能需要更频繁地重新加载上下文,增加重复搜索次数,并可能丢失早期的决策记录,进而降低开发效率。

Q2:Codex上下文缩减会影响企业的使用成本吗?

A:直接费用不一定上涨,但成本会以其他形式体现。更小的上下文窗口会导致更多重试、更频繁的上下文压缩操作,工程师需要花更多时间手动管理会话状态。因此,费用并不会凭空消失,而是从账单转移到了团队的时间和人力成本上,实际的隐性成本可能有所增加。

Q3:企业应该如何应对AI编程平台频繁变更上下文窗口等规格参数的风险?

A:分析师建议企业避免将工作流深度绑定到单一AI平台的当前参数上。具体措施包括:持续在真实工作负载上对工具进行基准测试;围绕检索机制、模块化设计和智能体编排构建工作流;监控上下文消耗情况,不硬编码上下文预算;将供应商的当前规格视为起点而非长期契约,并保持足够的架构灵活性。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OAr4HrFLoyD20J0CTHX-_MEQ0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券