上下文工程是指在大模型推理过程中,系统性地筛选、组织与维护"模型每一步应当看到的最优 Token 集合"的一整套策略。Anthropic 的应用 AI 团队于 2025 年 9 月正式提出并定义该术语,定义为"在大模型推理过程中策展并维持最优 Token(信息)集合的策略集,包括提示之外可能落入上下文的其他所有信息"。
与提示词工程关注"如何措辞提问"不同,上下文工程关注"Agent 究竟看到了什么信息",涵盖系统指令、记忆、检索结果、工具定义与历史对话的组织方式。Anthropic 将前者视为后者的一个子集——提示词工程是上下文工程的一个组成部分,而非替代。
它直接决定 Agent 的表现与成本:冗余或混乱的上下文会拖慢推理、推高 Token 消耗并引发"上下文腐烂(Context Rot)"——模型召回准确率随 Token 数上升而下降,且该现象跨模型普遍存在。更强的模型能处理更长上下文,但这只是把"墙"往外挪,不会消除问题。
典型实践包括:稳定前缀置顶(系统提示与工具定义放最前以命中缓存)、渐进式工具发现(只向模型暴露相关工具)、动态裁剪历史、分段摘要(Compaction)、结构化笔记外置到文件,以及按需加载指令模块;压缩应在上下文接近阈值时主动触发,例如 Claude Code 在占用约 95% 时启动自动压缩。
核心操作可归纳为四类:卸载(Offloading,把信息移到外部系统)、约简(Reduction,压缩或摘要陈旧信息)、检索(Retrieval,相关信息出现时才拉取)、即时加载(Just-in-time Loading,只存轻量标识、按需取全量)。判断上下文是否健康的实践标准是:若你无法判断一个正确结果"应该长什么样",则 Agent 很可能也无法稳定做到。