AI-Native 系列 · 智能体工程全对比:提示 · 上下文 · harness · 循环 · 图
上下文工程:预算思维,而非窗口越大越好
第 2 集(共 6 集)。本系列对比了人们构建 AI 智能体的各种工程方式——提示、上下文、harness、循环、图工程,以及本季主张的第六阶:评估工程。每一集都讲它的起源、可控范围、主导者,以及哪些原则经得起测量。本集聚焦四标签列表常常遗漏的那一阶:上下文工程,以及两个更大的窗口永远不会替你做的决策。
1 分钟速览 —— 你能收获什么
这是什么。一套关于如何工程化 AI 智能体的对比系列——提示工程(你输入的内容)、上下文工程(模型当前能获取到的信息)、harness 工程(它被允许做什么)、loop 工程(它如何自我修正)、graph 工程(多个智能体如何协作)、evaluation 工程(什么才算“对”)。本集聚焦上下文工程:从 2020 年的 Retrieval-Augmented Generation 到 2026 年,它的演变脉络、核心推动者,以及哪些原则经得起实测。
为什么这很关键 你每个月都要面对两笔账单,而这两笔账单的走向都取决于上下文工程。第一笔是钱:生产环境下的智能体每轮都要重发完整历史,所以你的前缀缓存能否命中,几乎决定了推理成本。第二笔是信任:如果智能体用一条已退休的策略来答复,它会自信且有出处地答错,而且能通过你所有的测试。更大的上下文窗口解决不了这两个问题——2023 年 Stanford 牵头的一项研究发现,准确率取决于答案在窗口中的具体位置;2025 年一份涵盖 18 个模型的报告发现,输入变长时,哪怕是简单任务也会退化。对创始人来说,这就是演示只花几分钱、产品却要烧掉几千美元的差距。对工程师来说,就是你今天下午就能上线的两个改动。
读完你能收获什么 给你的上下文设一个 token 预算,测一测 prefix-cache 命中率,把所有易变字段都移出前缀,并给记忆库里的每条事实都加上过期时间,这样检索器才能拒绝过期内容。你会拿到一个免费的 Colab 笔记本(无需 API key),还有两个从零搭建的可用应用:一个家庭菜单计划器,过期食材泄漏率从 0.750 降到 0.000;一个支持工单上下文组装器,CI 闸门会在预算溢出、事实过期或前缀不稳定时直接让构建失败。
Season 7 — 系列脉络
- 提示工程——规范,不是咒语 第 1 集
- 上下文工程——预算,不是更大的窗口 本集
- harness 工程——是 envelope,不是 agent 第 3 集
- 循环工程——是外部裁判,不是重试 第 4 集
- 图工程——是排班表,不是人设演员表 第 5 集
- 评估工程——这是真值函数,不是排行榜 第 6 集
本集讲什么,以及为什么上下文工程排在第二
构建 AI 智能体有五个有明确里程碑的命名分支,这一季还主张加上第六个。它们大致按这个顺序出现:提示工程(2020)、loop 工程(2022)、graph 工程(2023)、harness 工程(2024)、上下文工程(2025)——evaluation 工程作为实践很早,但作为名字很新。最清晰的公开表述来自 Feng 等人的综述(arXiv:2608.21156),它按每个分支能让你控制什么来排序,而不是按年代:prompt → context → harness → loop → graph。本系列就按这个顺序,每集都问同样四个问题——它从哪来,你到底能控制什么,谁在推动它,以及哪种失败会把你推到下一个台阶。
上下文工程之所以排在第二,是因为第一阶的资源总有枯竭的时候。第一集的结尾是一张完美的菜谱卡,却做出了两道不同的菜,而原因并不在卡片本身。当你的智能体需要用到那些你没写进 prompt 的事实——比如一条政策、一个价格、昨天的决策、上次工具的结果——你就已经不再是在编辑 prompt,而是在决定如何分配一项稀缺资源。
适用对象。 适合这样的人:AI 工程师,demo 阶段一切正确,第三周却变得昂贵或频繁出错;创始人,发现推理费用增长速度远超实际用量;高中生开发者,想搞明白为什么“多贴点内容进 prompt”突然就不灵了。只要你用过一次大语言模型,就能读懂。
上下文工程的起源,以及现在由谁主导
[定义] 上下文,指的是模型在回答时能获取到的所有信息:system prompt、工具定义、当前对话、检索到的内容、工具返回的结果。上下文工程,就是决定哪些内容该放进来、哪些该排除在外的那门学问。定义就是这么直接。它的历史,是一个检索小技巧如何演变成预算管理的故事。
| 时间节点 | 里程碑 | 主导者 | 带来的变革 |
|---|---|---|---|
| 2020-05 | Retrieval-Augmented Generation(arXiv:2005.11401) | Lewis 等,Facebook AI Research、UCL、NYU | 事实从模型权重迁移到输入里。模型在生成时从索引中读取内容,所谓“已知”变成了你动态组装的东西。 |
| 2023-07 | Lost in the Middle (arXiv:2307.03172) | Liu 等,Stanford、Berkeley、Samaya AI | 窗口被精确测量,发现准确率其实取决于答案在窗口中的位置,窗口并非均匀可用。位置成为工程变量。 |
| 2023-10 | MemGPT(arXiv:2310.08560) | Packer 等,UC Berkeley | 借鉴操作系统的虚拟内存:像分页一样把事实调进调出小窗口。窗口变成了 RAM,而不是文件柜。 |
| 2025-06 | 术语被正式提出并广泛传播(simonwillison.net) | Tobi Lütke, Shopify;Andrej Karpathy | 两篇帖子让这门实践有了一个响亮的新名字,因为“提示工程”在大众认知里已经沦为“往聊天机器人里敲字”。 |
| 2025-07-02 | 上下文工程 (langchain.com/blog) | LangChain 团队 | 四个可操作环节:编写、筛选、压缩、隔离。这是第一个有实际实现支撑的分类体系。 |
| 2025-07-14 | Context Rot (research.trychroma.com) | Hong、Troynikov、Huber,Chroma | 18 个模型,任务刻意保持极简,仅调整输入长度。“我们现在有百万 token 级窗口”的说法,终于在对照实验中被检验。 |
| 2025-07-18 | Lessons from Building Manus (manus.im/blog) | Yichao “Peak” Ji,Manus | 生产环境视角:prefix-cache 命中率决定你的账单,前缀稳定性则是守护命中率的核心。 |
| 2025-09-29 | Effective context engineering for AI agents (anthropic.com/engineering) | Anthropic | 模型实验室直接提出了预算视角:有限资源、注意力预算,以及目标是用最小的 token 集合承载最高信号。 |
| 2026-08 | 阶梯综述(arXiv:2608.21156v2) | Feng 等人 | 上下文工程被列为范式阶梯的第二级,定义为管理信息访问。 |
[设计] 有三点值得注意:这门实践比“上下文工程”这个名字早了五年——2020 年的 Retrieval-Augmented Generation(RAG)其实已经在做上下文工程,只是当时还没这个叫法。2025 年正式提出这个术语的两篇帖子都不是论文,而是 CEO 和前实验室主管在社交媒体上的发言,这个新标签之所以能流行开来,是因为旧标签已经被滥用。这里最有分量的结果,反而是用数据和市场宣传唱反调的实测结果:就在厂商高调推出百万 token 级上下文窗口的同一年,两组独立团队就发布了证据,证明窗口变大后,内容并不能被均匀、高效地利用。
现在是谁在推动上下文工程。模型实验室负责制定最佳实践和缓存机制,你优化的对象正是他们的实现。Agent 产品团队——Manus 是最公开透明的代表——会公布运营数据,因为大规模账单最终由他们买单。框架厂商把这些实践固化为默认配置。检索基础设施公司则出资做对抗性测评,这其实很健康:卖检索服务的人最有动力证明,单纯往窗口里塞内容并不能替代检索本身。学术界贡献了两项关键测量中的一项——Liu 等人(斯坦福、伯克利);其余都来自业界,这正是这个环节的真实生态。
本系列的核心比喻:厨房阶梯
一张图串起六集内容,这里再放一次,不过这次是作为工具而不是故事。每个厨师都要爬同一把梯子:先为自己做饭,然后为家人、再到餐厅厨房、快餐连锁,最后是能养活多家连锁的全国供应链——最顶端还有召回日志。每个 AI 工程师也在爬一把类似的阶梯,从学生到前沿领袖,每一阶 agent 工程都对应厨房里的一个层级。
第一集讲的是菜谱卡:你写好卡片,一个你无法直接交流的厨师照着做菜,所有信息都得提前写在卡上。第二阶是储藏室和操作台。你现在是为家人做饭了,每周要下厨好几次,厨房里的东西会不断积累。菜谱卡依然重要。但从周二到周五,储藏室已经塞满了,真正决定每道菜成败的,是操作台——也就是那个实际下厨的小平面。
| 阶梯 | 厨房 | 你的身份 | 你能掌控的环节 |
|---|---|---|---|
| 1. prompt | 菜谱卡——为自己做饭 | 学生 | 厨师实际操作的书面指令 |
| 2. context | 储藏室和操作台——为家人做饭 | 初级开发者 | 操作台上能用的东西,以及它们的新鲜程度,整个烹饪过程中都能掌控 |
| 3. harness | 餐厅厨房 | 高级开发者 | 各工位、触手可及的工具、每道菜都要过检的传菜台 |
| 4. 循环 | 快餐连锁 | AI 技术负责人 | 品尝、测量、修正,把改进推广到每一家门店 |
| 5. 图 | 全国供应链 | CTO | 多家厨房、一张排期表、一支卡车车队 |
| 6. 评估 | 召回日志 | 前沿领袖 | 整个食品体系从被退回的东西中学到什么 |
储藏室是你拥有的一切:货架、冰柜、冰箱深处。操作台是此刻摆在外面、你做饭时伸手可及的东西。两者不是一回事,把它们混为一谈,就是本集的全部主题。没人因为多囤几罐头就能把晚饭做得更好。决定晚饭成败的,是哪些东西最终上了操作台——以及这些东西是否还新鲜。
两条轴线,不止一条。 这不是一架爬完就丢的梯子:每个厨房同时具备六个层级。家常厨师有菜谱卡、储藏室、灶台、味觉、供应商,还有对上次哪里出错的记忆。你爬得越高,能触及的层级越多,对每一层的要求也越严格:先凭感觉,再量化、加闸门、最后自我修正。一个挂着花哨供应链图却不标保质期的全国连锁,还不如一个家里每罐头都写日期的厨房成熟。所以这些学科是层级(你能控制什么);资历是成熟度(你怎么运行它们);“图”并不自动比“循环”更高级。
这个类比可以用来引出观点,但绝不能作为论据——下面的 1:1 技术映射里,每个元素都能在代码里一一对应。而第一集结尾留下的那个东西还在这里:那罐被人开了盖、放在盐罐旁边的瓶子。 盯紧它。大约九百字后,它会让我们真金白银地付出代价。
这梯子不是我发明的
[定义] 术语表,全部标明出处——因为很多标签都在抢这块地盘,大多数清单都列错了。
Feng 等人的综述(arXiv:2608.21156,2026-08-26 修订)是目前最清晰的公开表述。它用六个词定义了这一层:“Context Engineering to manage information access”(中译:上下文工程用于管理信息访问)——它正好位于提示工程(挖掘模型已有能力)与 harness 工程(组织模型可触达内容)之间。
最早给出定义的是一线从业者。2025 年 6 月,Shopify 的 Tobi Lütke 称其为“the art of providing all the context for the task to be plausibly solvable by the LLM”(中译:为任务提供全部上下文,让大模型有可能解出问题的艺术);几天后,Andrej Karpathy 又补充道“the delicate art and science of filling the context window with just the right information for the next step”(中译:用恰到好处的信息填满上下文窗口,助力下一步,这既是门艺术,也是门科学)。这两句话都引自 Simon Willison 2025-06-27 的笔记,也是我读到的原文。
[DESIGN]请注意这三者的共同点,以及流行用法里丢失了什么。Lütke 强调 all the context,Karpathy 说的是 just the right information,Feng 等人则用 manage access。没有人提“更多”。这个领域本来是以“筛选”为核心命名的,如今却常被当作“堆积”来操作——大多数智能体账单的差距,就出在这两种理解之间。
本节观点归纳如下
[DEF] 上下文是一种预算,而不是一个容器。预算有容器没有的三大特性:它是有限的、会被消耗、每一轮怎么分配完全由你决定。此外,预算还有布局——在这个预算里,token 的位置会影响它的成本,也影响它被模型读取的效果。
[EVIDENCE]先说位置,因为这是这个观点里最早、也是被测量得最充分的部分。Liu 等人把同样的信息放在窗口的不同位置,观察准确率变化:
“performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models”(中译:当关键信息出现在输入上下文的开头或结尾时,模型表现通常最佳;而当模型需要在长上下文的中间获取关键信息时,性能会显著下降,即使是专为长上下文设计的模型也如此)
——Liu 等人,Lost in the Middle,arXiv:2307.03172
最后一句才是重点:even for explicitly long-context models。窗口变大并不能解决这个问题,因为这其实是关于注意力分布形状的结论,而不是窗口大小本身。(这篇论文 2024 年发表在 TACL;我核对了正式发表版和 arXiv 版摘要,内容完全一致。)
[EVIDENCE]Chroma 在 2025 年的技术报告则从另一个角度切入了同一个问题。Lost in the Middle 控制输入长度、只变位置,Chroma 则控制任务难度、只变输入长度:Lost in the Middle 关注的是信息在窗口中的位置变化,Chroma 则只调整了上下文长度,并把任务难度严格保持不变:“Each task remains intentionally simple and is deliberately controlled to isolate the impact of context length alone.”(中译:每个任务都被刻意设计得非常简单,并有意控制变量,只为单独测量上下文长度的影响。) 18 个模型的结果非常直接——“models do not use their context uniformly; instead, their performance grows increasingly unreliable as input length grows.”(中译:模型对上下文的利用并不均匀;相反,随着输入长度增加,模型的表现会变得越来越不稳定。) Anthropic 在自家工程博客中采用了这个说法,并直接得出了本期标题的结论:“Context is a critical but finite resource for AI agents.”(中译:上下文对于 AI 智能体来说是至关重要但有限的资源。)
[EVIDENCE] 再说说钱,这部分常被忽视,但每个月都实打实落在你账上。智能体的循环每一轮都要重发全部历史,输入和输出的比例完全不是 chatbot 那一套——Manus 的数据是 100:1。于是账单的核心数字就只剩下一个:
“If I had to choose just one metric, I'd argue that the KV-cache hit rate is the single most important metric for a production-stage AI agent.”(中译:如果只能选一个指标,我认为 prefix-cache 命中率是生产级 AI 智能体最重要的指标。)
——Yichao “Peak” Ji,Manus,2025-07-18
而毁掉这个指标的方式小到像个无伤大雅的小细节:“A common mistake is including a timestamp—especially one precise to the second—at the beginning of the system prompt.”(中译:一个常见错误是在 system prompt 开头加上时间戳——尤其是精确到秒的那种。) 这里的 cache 指的是 prefix cache。 它会复用你这次请求和上一次请求从头开始最长的那段 token。只要你在第十二个 token 改动了内容,后面所有 token 都会被重新预填,每一轮如此,永远如此。
[DERIVATION] 把这三点放在一起,结论不是“让上下文尽量小”。更精确地说,是两条规则:
- 布局是成本决策。 每轮会变的内容必须放在上下文的末尾,绝不能放在前缀里。位置不是装饰,而是有成本的。
- 新鲜度是正确性决策。 一个无法标注日期的事实就无法被拒绝。如果你的 memory store 没有过期或替换字段,无论检索器多强,都拦不住引用已退休的策略,因为“过期”不是检索器能看到的属性。
[DESIGN] 供应商的说法值得认真听,而不是一笑了之。长上下文的发布确实是真的,对于单次任务——比如读合同、答问题——百万 token 级窗口是 2023 年还没有的新能力。但这并不意味着大家推断的那句话成立:现在可以不用管筛选了。Chroma 在受控条件下验证了这个推断,即使在简单任务上也不成立。而账单无论如何都没变——更大的窗口对未筛选上下文的成本影响正好是零。
[OPEN]有两点需要坦诚说明。上述两项测量都聚焦于检索型任务;它们并未证明在推理型任务中,精细筛选一定优于简单堆料。此外,缓存的经济账完全取决于服务商——Manus 所说的某模型家族缓存与非缓存输入之间 10× 的价格差,只是某一时刻的官方定价,并非自然法则。在引用我的算式前,务必用你自己的服务商数据重新推导一遍。
1:1 技术映射表
比喻中的每个元素,都能一一对应到代码里你能指得出来的对象。比喻可以用来引入观点,但绝不能作为论据——所以这里是它的技术翻译版本,所有装饰成分都被剥离。
| 厨房 | 系统 | 所在位置 |
|---|---|---|
| 储藏室——你拥有的一切 | 语料库和记忆存储 | 你的索引、文件、工单历史 |
| 操作台——你做饭时摆出来的东西 | 本轮组装好的上下文 | messages[],实际发送出去的内容 |
| 操作台有多长 | 上下文预算 | MAX_CONTEXT_TOKENS,你自己设定的一个数字 |
| 决定从储藏室拿出什么 | 检索、过滤和打包 | score → filter → pack,顺序依次进行 |
| 罐头上的保质期 | 过期或被替换的时间戳 | expires, superseded_by |
| 有人把罐头开着放在盐罐旁边 | 上下文里还残留的过期事实 | 模型会引用的已退休政策条款 |
| 你从不挪动的备料区 | 固定前缀 | system prompt + 工具 schema,字节级完全一致 |
| 钉在备餐台上的时钟 | 前缀中的易变字段 | 精确到秒的时间戳 |
| 你总也够不到的那层架子 | 长窗口的中间地带 | Lost in the MiddleLost in the Middle测量的区段 |
| 每道菜之间清空操作台 | 可恢复的压缩 | 只保留 URL,丢弃正文 |
| 写在工单上夹起来 | 外部化记忆 | agent 自己写入并读回的文件 |
[定义] 本集后文依赖的三个核心指标,定义如下:
- 前缀缓存命中率 ——在一轮运行中,输入 token 中有多少比例直接来自缓存,而不是重新填充。与质量无关,纯粹衡量:你已经为多少 token 付过钱。
- 过期事实泄漏率 ——在 N 个回答中,至少用到一个已过期或已被替换事实的比例。与流畅度无关。答案可以写得很漂亮,但引用的却是已经废弃的条款。
- 预算溢出——在 N 次组装中,超出已声明上下文预算的次数。注意,这不是“性能下降”:一旦超预算,服务商会从他们喜欢的一端直接截断上下文,而不是你来决定。
预测闸门
别急着往下翻,先写下你的答案。这个环节的意义在于:没写下来的预测,事后你总会觉得自己猜对了。
Q1.一个智能体运行 100 轮。它的 system prompt 以当前时间(精确到秒)开头,其他内容都是追加的。它输入的 token 里,有多少比例会被 prefix-cache 命中?
Q2.你把那一行从 system prompt 顶部挪到模型回答前的最后一行。token 数没变,信息也一样。命中率会发生什么变化?账单又会发生什么变化?
Q3.你的 memory store 没有过期标记,大约四分之一内容已过期。你想减少答案用到过期事实的频率。请按效果从大到小排序:(a) 把上下文预算翻倍,(b) 提高检索器排序能力,(c) 增加过期字段并在打分前过滤。
答案在 Failure Room 和 Notebook。如果你在 Q3 的直觉是 (b),你并不孤单,第 6 格的 sweep 很值得你花十五分钟。
失效实验室
请故意把它搞坏。一个无法被你搞坏的机制,只能叫主张,算不上机制。
失效 1 ——“窗口现在有百万 token 级,这问题已经解决了。”这是本层最常见的误区,也是被反驳最多的。Chroma 固定难度、只变输入长度,18 个模型性能依然下降。Liu 等人固定长度、只变位置,准确率依然波动,明确包括长上下文模型。更大的 counter 确实有用,但对这两个结果都没影响——对本集测的两个指标更是毫无作用。
失效 2 ——“我们开了缓存,所以没问题。”缓存不是一个勾选框,而是前缀的属性,而且很容易被看似“好工程”的东西破坏。比如加个时间戳让模型知道当前时间,加个 session id 方便追踪,加一行“user tier: pro”让 persona 能适配,或者工具列表因为 JSON 序列化不保证 key 顺序而顺序变了。每一项都占用前缀的 token,每一项都会让后面所有 token 都要重新计算。在下面的实验室里,这个错误让命中率掉到 0.003——没有报错、没有警告、没有任何仪表盘能发现,没人做过那个仪表盘。
失效 3 ——“检索做得更好。”这是 sweep 设计来拆的坑。更好的排序只能决定哪些过期项先到,不能阻止它们到,因为过期对看不到日期的排序器来说是隐形的。在实验室里,没有过期标记时泄漏率在 counter size 4 到 50 之间都在 0.690 到 0.910,从未归零;有标记时每个都 0.000。这不是更好的检索器——而是检索前就该问的另一个问题。
失效 4 ——指标读数 0.000,毫无意义。只要把上下文内容几乎清空,泄漏率就能归零。恭喜你,你的智能体变得稳定无知。和第 1 集的确定性指标在空对象上读 1.000 是一个形状,这也是 fridge-list 项目会同时报告计划实际用到多少原料和泄漏率的原因。只有筛选指标、没有有用性指标,就是在邀请作弊。
Q3 答案:(c),然后 (b),最后 (a)——而且 (a) 不只是最后,甚至可以说是反效果。预算从 k=4 提到 k=20,counter 上过期项均值从 1.08 涨到 9.25——哪怕只翻一倍,k=4 到 k=8,也从 1.08 涨到 2.90。你不是把问题稀释了,而是直接把麻烦请进了门。
实验笔记本
labs/02_context_budget.ipynb· Colab 免费额度 ·无需 API key· 约 2 秒 CPU · 所有 cell 均在发布前执行 ·要点速览 同时收录了这两个项目。
七个单元格,分为两部分。第一部分:一个极简分词器(每四个字符算一个 token),加上唯一重要的缓存机制——prefix cache 会复用本次请求与上一次请求最长的公共前缀。第二部分:一个 pantry 文件、一个组装器和一个泄漏率指标。
- 分词器和 prefix-cache 模型,成本计算用的是公开定价。
- 智能体的上下文有两种组装方式——一种是在 system prompt 顶部加一个时钟,另一种是把同样的时钟放在答案前的最后一行。
- N=100 轮的测量结果。 先看 token 列:两种方案下完全一致。
- pantry:共 40 个物品,其中 11 个已过期,每个都有一个
added日期,部分还有一个expires日期。 - 组装器和泄漏率指标,counter 设为 12。
- 参数扫查,以及值得直接借用的那一格。调整 counter 大小,观察两种干预手段的分化效果。
- 桥接:只需替换两个函数,完全相同的测量逻辑就能跑在真实接口上。
[EVIDENCE] 第 3 格,原样输出如下:
arrangement input tok cached hit rate cost USD
volatile field at the TOP 252,064 693 0.003 0.7543
volatile field at the END 252,064 246,396 0.978 0.0909
cost ratio (top / end) : 8.30x
cost delta over 100 turns : $0.6634
Token 完全一致,模型作答时可用的信息也完全一样。只是把一行从最前面挪到最后,输入账单直接省掉了 8.30 倍。注意什么都没发生:没有报错,没有警告,输出也没变差。贵的那版运行得完美——这正是它能通过代码审查的原因。
[EVIDENCE] 第 6 格是我写大纲时被它当场改了主意的那一格,结论是在运行时算出来的,而不是提前写死的——它确实和我唱了反调,差点让我删掉:
| counter 大小 k | 泄漏率:无时间戳 | 泄漏率:有时间戳 | counter 上平均过期物品数 |
|---|---|---|---|
| 4 | 0.710 | 0.000 | 1.08 |
| 8 | 0.870 | 0.000 | 2.90 |
| 12 | 0.880 | 0.000 | 4.98 |
| 20 | 0.910 | 0.000 | 9.25 |
| 32 | 0.840 | 0.000 | 11.00 |
| 50 | 0.690 | 0.000 | 11.00 |
[OPEN] 坦率地解读这张表,包括反驳我的那部分。没有时间戳时,泄漏率在 k 上不是单调的:k=20 时升到 0.910,k=50 时又降到 0.690。我第一反应是把最后两行删掉,这其实是在迎合我的论点。原因很简单:储藏室有 40 个物品,其中 11 个已经过期,所以当 k=32 时,所有过期物品都已经被摆上操作台——第四列固定在 11.00——再往上加 k 只会多加新鲜物品,而模拟厨师每次还是只选那四样。每次回答的泄漏率被稀释了,但操作台早已彻底被污染。这是模拟器的产物,值得明说,因为它和真实报表出错的形状一模一样:比率可能变好,底层状态却在变坏。唯一能成立的结论,是整列数据都支持的那个——没有时间戳,泄漏率在任何预算下都不会归零;有时间戳,每次都是 0.000。
[DESIGN] 为什么用模拟器?模拟器能在两秒钟内、免费、无需密钥,复现成本是怎么进来的、又是怎么被消除的。它不会还原量级。notebook 里打印的所有数值都不能作为 Liu 等人的位置效应或 Chroma 的退化曲线的证据——只有原始论文才行。8.30× 是用模拟 token 和公开单价算出来的纯算术——比值才是发现,美元只是插图。第 7 格是诚实的桥梁:你把分词器和模拟厨师换掉,测量代码一行不用动。
项目
两个从零搭建的小项目——无框架、无任何第三方依赖,只用标准库。它们都在本节写作前实际跑过,所以下面所有数字都是测出来的,不是拍脑袋。
项目 1 —— 生活实录:the-fridge-list
projects/02-real-fridge-list/ · python3 fridge_list.py 100
一个家庭一周饭菜计划器,所有上下文只在一个文件里,pantry.json。它会读取储藏室,把 12 个物品摆上操作台,然后根据能看到的东西写出本周菜单。没人会在自己写的文本文件里加保质期,这正是它适合做第一个实验的原因。储藏室文件和模拟厨师都和实验室里的不同——形状一样,所以泄漏率和实验室的 0.880 不一样。
pantry: 40 items, 11 already expired on 2026-09-11 · N=100 weekly plans · k=12
pantry file leakage rate stale items named of items named
WITHOUT expiry stamps 0.750 134 242
WITH expiry stamps 0.000 0 372
[EVIDENCE] 有四分之三的菜单让家里人用已经变质的食材做饭,而且菜单写得流畅、合理、但就是错的。唯一让我意外的是最后一个数字:加上时间戳后,计划器反而点了更多食材——372 比 242——不是更少。
这直接颠覆了让人偷懒的直觉。过滤并没有让操作台变小——无论如何都是 12 个格子。只是把原本 12 个里有 5 个不能用的,换成了 12 个全都能用的,所以能做的菜反而多了。筛选不是减法。 本质是同样的预算,花在了能用的东西上——Anthropic 说的 high-signal-tokens 观点,从冰箱里走出来了。
项目 2 —— 企业场景:the-desk-memory
projects/02-enterprise-desk-memory/ · make measure · make gate
一个客服工单上下文组装器。输入工单,输出组装好的上下文,有 token 预算,CI 里有三条不变量做闸门。知识库有 144 条片段——版本化的政策条款、历史解决方案、带日期的季节性备注——其中 30 条已过期:16 条被替换的政策版本,14 条过期的备注。
[EVIDENCE] 每次只移除一个不变量,N=100 张工单:
what was removed budget_overflows stale_fact_leaks distinct prefixes exit
nothing 0 0 1 0
the budget packer 100 0 1 1
the freshness filter 0 100 1 1
the stable prefix 0 0 100 1
make gate 通过 0。make gate-off ——同样的闸门,去掉新鲜度过滤——通过 1。make gate-removed 依次移除每个不变量,并断言每次移除都应该失败,因为一个你没见过它 fail 的闸门,其实只是个美好愿望。
仔细看第二行,因为这就是你迟早会踩的坑。把预算打包器去掉,哪儿都不会报错:平均组装 1,420 个 token,最极端能到 1,481,而预算只有 1,200,照样交出去,真实服务商会直接截断——静悄悄地,从它喜欢的那一头开始——所以你最需要的那条,正好被截掉了。我们的罐头来了。第三行是一条被替换的退款条款,堂而皇之地摆在操作台上,100 个回复里被引用了 100 次。它看起来和政策一模一样。三月份时,它确实是政策。
30 分钟造出来——合同
组装器需要的所有东西,按工程师会问的顺序来。输入:工单和知识库。输出:组装好的上下文。不变量:不能标日期的东西不能进,装不下的不能打包。停机规则:到预算就停——绝不为了腾地方截断前缀。
PINNED_PREFIX = system_prompt + tool_schemas # byte-identical on EVERY request:
# no clock, no session id, sorted keys
SNIPPET = { # the minimal shape of a memory row
"id": str,
"text": str,
"expires": date | None, # the field that makes refusal possible
"superseded_by": id | None,
}
def assemble(ticket, kb, budget=MAX_CONTEXT_TOKENS):
pool = [s for s in kb if is_fresh(s)] # 1. FILTER — before anything else
ranked = sorted(pool, key=lambda s: -score(s, ticket)) # 2. SCORE
out, used = [], n_tokens(PINNED_PREFIX)
for s in ranked: # 3. PACK, newest-relevant first
if used + n_tokens(s.text) > budget: continue
out.append(s); used += n_tokens(s.text)
return PINNED_PREFIX, out, used
# CI gate (make gate): N=100 tickets
# budget_overflows == 0
# stale_fact_leaks == 0
# distinct_prefix_fingerprints == 1 (sha256 of the pinned prefix, per request)
# any line off threshold → exit 1 → the build fails
刻意没写进那块的:答案正确性指标(见下文的 honest gap)、重排序(它只改顺序,不改资格)、和一个在线模型。
[设计] 这四个特性,让这个项目具备了企业级产品的气质,而不仅仅是个演示,每一条都各有其价值:
- 先过滤,后打分。 如果打包后才去掉过期条目,已经把本可以放进去的新鲜内容挤出去了。这和第一集的计划闸门如出一辙——所有工具运行前先校验,事后过滤只能清理日志,救不了现场。
- 前缀要做指纹校验,而不是“说了算”。 闸门会对每次请求的固定前缀做哈希,要求 100 次请求里只有一个唯一值。“我们保证前缀稳定”只是主观认知;N=100 的 sha256 才是客观事实,也是唯一能防住下一个人加“有用”时间戳的办法。
- 替代字段必须是一级属性,而不是靠约定。
superseded_by不删除行而是标记退休,这样审计还能查到三月时工单的内容,而组装器今天会拒绝用它。直接删行,审计没了;不加日期,答案也废了。 - 溢出就是构建失败,不是警告。 服务商“处理”超预算上下文的方式是直接截断——到底丢掉哪条事实,由 API 决定,悄无声息。把闸门设成零,决定权才回到你手里。
[开放] 这两个项目都没法证明什么。语料都是合成的,厨师也是 stub。企业版的真实状态是 可运行且有闸门,而不是 已上线且有实测。怎么才算“真”?要用真实工单和真实替代历史采样知识库,三项不变量旁边还得有答案正确性指标——因为上下文再新鲜、再小、再稳定,也可能是错的,这三个数都不会提醒你。
同一套故事,五种出场方式
一条主线,每个读者一扇门。选一个决策,做一个动作,其余随意。
| 如果你是 | 本集希望你改变的决策 | 本周可以落地的一件事 |
|---|---|---|
| 高中生开发者 | 上下文工程的本质是决定什么能上操作台,而不是拥有更大的储藏室。 | 跑一遍 Colab 实验(2 秒,无需 key),然后把“储藏室-操作台”模型讲给一个朋友听。 |
| AI 工程师 | 你的成本由前缀布局决定,正确性则取决于事实能否标注日期。 | 用 grep 检查 system prompt,找出每次请求都会变的内容,把它们全部移到末尾。测一测前后的命中率。 |
| 创始人 | 如果推理账单涨得比用量还快,十有八九是缓存布局出了 bug,而不是定价有问题。 | 问问你的团队前缀缓存命中率是多少。如果没人能答上来,这本身就是答案。 |
| 高管 | “智能体回复用的是哪个版本的政策?”这是个审计问题,应该有 schema 字段能直接回答。 | 在下次上线前,要求每一行可被检索的数据都必须有过期或替代字段。 |
| 投资人 | 护城河在策展层和它的闸门,不在于团队租了多大的窗口。 | 让任何一家智能体初创公司把 cache hit rate 和 stale-fact leakage 并排报出来。只报一个就是表演。 |
现实任务
花十五分钟,在你本周已经上线的某个系统上动手做一次。
- 打印你某个真实智能体连续两轮实际发送的字节——不是你以为发了什么,而是线上真的发了什么。
- 做 diff,找出第一个不同的字节。从那一位起,后面所有内容每轮都要重新预填,直到天荒地老。
- 如果那个字节是时钟、id、用户等级、工具顺序随机化或格式化日期,把它移到上下文最后。别动其他任何东西。
- 打开 memory store,问 schema 一个问题:单看一行,我能判断它还有效吗?如果不能,你不是检索有问题,而是缺了个字段。
- 加上这个字段。打分前先过滤。把你原本信任的流程再跑一遍。
如果第 2 步什么都没查出来,因为你的智能体每次都是全新单轮 prompt,那你其实学到了更重要的事:你还在第一层,counter 还没开始堆料,但这一天总会到来。
研究挑战
把这个任务交给智能体,运行前先登记你的预测——你没提前写下的预测,事后一定会自我合理化。
选一个可检验答案的检索型任务,语料中有已知比例的行被替代。模型和任务都不变,独立变两个变量:上下文预算(四档,从很紧到 10× 需求量)和新鲜度策略(无 · 过期过滤 · 过滤加按新近加权重排)。报告所有 12 个格子的答案准确率、stale-fact leakage、前缀缓存命中率和成本,并分别报告每条答案的泄漏率和每个上下文的污染率。
预注册:判断准确率是否随上下文预算单调变化,以及两种泄漏指标是否会出现相反的走势。
我自己的 stub 结果显示,在预算放大时,这两个指标确实会分离,原因是 stub 本身的机制。至于真实模型上是否也会出现这种分离、而且是由真实原因导致,目前还没人公开发表过——如果你测出来了,这就是一篇值得写的成果,而不是实验设置的 bug。
最新进展
本层级截至发稿时的动态。由 30 个先锋来源的每周实时同步生成,research-anything (make watch-sync,只按技术信号强度排序,绝不看受众覆盖面。
同步日期:2026-09-11。
- arXiv:2609.11728 (2026-09-10) — Reproducibility in the Age of Agentic AI: Context Engineering at the Timescale of a Codebase。截至发稿仅一天:可复现研究的实践——测试、提交历史、仓库结构、决策记录——被当作编码智能体的上下文工程来解读,作者坚持研究者本人要对成果验证负责。
- arXiv:2608.23992 (2026-08-25) — Hybrid Semantic Tool Discovery for Enterprise MCP Gateway。本期最想亲自测的生产数据:在 PayPal,暴露 2000+ 工具、跨 200+ 服务器,用户问题还没到就消耗了 140,200 个 token,占上下文窗口 70.1%。用两个检索工具替换后降到 1,300 个 token,仅 0.8%。论文自己也把这归结为上下文工程瓶颈,而不是检索瓶颈。
- arXiv:2608.29016 (2026-08-29) — Towards Fully Automated Medical Imaging Code Generation via Validation-based Context Engineering。上下文由领域知识库、共享内存和验证反馈自动组装,而不是手工拼接,覆盖六个数据集和五个主干模型。趋势很明确:上下文构建正变成一个有独立测试的组件。
- 更早但基础的:arXiv:2005.11401(RAG)、arXiv:2307.03172(Lost in the Middle)、arXiv:2310.08560(MemGPT),以及 2025 年的实务经典——LangChain 的四分法、Chroma 的 Context Rot、Manus 的缓存命中率文章、Anthropic 的工程实践文。Context Rot,Manus 的缓存命中率文章,Anthropic 的工程实践文。
[OPEN]还有哪些没变?我查了 2026 年是否有人用最新长上下文模型复现 Chroma 的性能衰减曲线,结果没找到:目前关于 context rot 的最有力公开证据,依然是一份 2025 年 7 月的厂商报告和一篇 2023 年论文,2026 年还没人独立复现。请把效应的量级视为未定,但方向已被充分支持。我也没找到跨服务商的 prefix-cache 命中率公开测量——大家口中的 10× 缓存/非缓存差距,其实都追溯到某家厂商某一时刻的标价。
自测题
别往上翻,先自己检验一下。
- 储藏室和操作台有何不同?更大的上下文窗口究竟扩展的是哪一个?
- 为什么把时间戳放在 system prompt 的开头,比放在结尾要更贵,明明 token 数完全一样?
- 请写出反驳“百万 token 级窗口能解决检索问题”的两项测量指标,并说明各自保持不变的变量。
- 检索器再强,记忆库没有过期字段,为什么泄漏率永远不可能为零?一句话说明理由。
- 你的过期事实泄漏率显示 0.000。请给出让这个数字失真最省事的办法,以及你必须同时报告的另一个关键指标。
悬念时刻
你把操作台彻底清理了一遍。
所有易变字段都被移到了末尾;前缀在一百次请求中哈希值始终如一。每一行都带有过期时间和替代指针,组装器拒绝任何无法标注日期的内容。预算已声明,溢出直接拦截为零。prefix-cache 命中率 0.978,泄漏率 0.000。有那么一个下午,你真以为厨房终于被你收拾明白了。
然后客户来信。你的 agent 读了工单,检索到当前政策下最准确的条款,写出一条条条是道的回复。
接着它发起了退款。
而且还发了两次,因为第一次超时了,但没人告诉它退款不是那种可以重试的操作。金额还超出了柜台上限,因为没人把上限写到 agent 能读到的地方。它还先后写入了工单系统和计费系统,结果两边数据对不上——等你想撤销时,发现根本没法撤回。
操作台收拾得一尘不染,事实也都新鲜。可到底哪些东西厨师能碰,没人定过规矩。
第三集 —— 餐厅厨房。Harness 工程:模型看到了对的事实,却依然无法行动——而且有测量发现,第一版 Harness 在四个格子里有两个反而让情况变糟。
继续阅读
第 2 集智能工程冒险,第七季 —— 厨房阶梯。本系列的主张都按类别打了标签——定义、推导、证据、工程选择、开放问题——隐喻可以引出观点,但永远不能作为证据。每集都配有一个 Colab 笔记本,免费无 API key,还带两个从零搭建的应用——一个个人用,一个企业级。阶梯采用的是 Feng 等人的方案(arXiv:2608.21156),不是我发明的。“what moved”部分由 30 个先锋源的每周实时同步生成,按技术信号排序,绝不看流量。这篇文章没有任何雇主或客户的内容。—— Paul Jialiang Wu · futuremake.io
参考文献
- Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., Liang, P.(2023)。Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172——摘要页查阅于 2026-09-11;位置相关句子为英文原文引用。已发表为TACL 12 (2024);我对比了两版摘要,内容完全一致,因此该引用适用于任一版本。
- Ji, Y.(“Peak”)(2025-07-18)。Context Engineering for AI Agents: Lessons from Building Manus. manus.im/blog——全文查阅于 2026-09-11;prefix-cache 命中率、前缀时间戳、100:1 输入输出比,以及实验用的缓存/非缓存定价均出自此文。
- Anthropic(2025-09-29)。Effective context engineering for AI agents. anthropic.com/engineering——查阅于 2026-09-11;有限资源相关引用及历史表中的 attention-budget 论述均出自此文。
- Hong, K., Troynikov, A., Huber, J.(2025-07-14)。Context Rot: How Increasing Input Tokens Impacts LLM Performance.Chroma 技术报告,research.trychroma.com/context-rot——查阅于 2026-09-11;18 个模型,任务复杂度固定,仅输入长度变化。
- Feng, Y., Xiang, Z., Yang, C., Ma, Q.(2026)。Graph Engineering in the Era of LLM Agents: From Individual Intelligence to System Intelligence. arXiv:2608.21156v2,修订于2026-08-26 —— 本系列分级阶梯的出处;“Context Engineering to manage information access”(中译:上下文工程用于管理信息访问)引自摘要页。
- Lewis, P., Perez, E., Piktus, A. 等(2020)。Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401(NeurIPS 2020)—— 历史表中2020年的标志性事件;已查阅摘要页,未直接引用原文。
- Packer, C., Wooders, S., Lin, K. 等(2023)。MemGPT: Towards LLMs as Operating Systems. arXiv:2310.08560—— 虚拟上下文管理;已查阅摘要页,未直接引用原文。
- Willison, S.(2025-06-27)。Context engineering. simonwillison.net—— 我阅读的2025年6月两篇原帖的出处。原作者:Tobi Lütke 和 Andrej Karpathy;两位作者内容均为客户端渲染,因此此处引用均据Willison转录并注明出处。
- The LangChain Team(2025-07-02)。Context Engineering. langchain.com/blog—— write / select / compress / isolate 四分法;2026-09-11已读,仅作描述,未直接引用原文。
- Barba, L. A.(2026-09-10)。Reproducibility in the Age of Agentic AI: Context Engineering at the Timescale of a Codebase. arXiv:2609.11728——「最新进展」;摘要页查阅时间:2026-09-11。
- Saha, O. 等(2026-08-25)。Hybrid Semantic Tool Discovery for Enterprise MCP Gateway: Architecture and Implementation. arXiv:2608.23992——「最新进展」;140.2k → 1.3k token 数据引自摘要页,查阅时间:2026-09-11。
- Zhao, Z. 等(2026-08-29)。Towards Fully Automated Medical Imaging Code Generation via Validation-based Context Engineering. arXiv:2608.29016——「最新进展」;摘要页查阅时间:2026-09-11。
- Dhage, S.(2026)。Harness Engineering for Predictable Agentic Systems: An Empirical Study of Deterministic Execution Constraints. arXiv:2608.26197—— 第一集的测量数据,此处引用以说明 plan-gate 结构,并为第三集埋下伏笔。
- Anthropic(2024-12-19)。Building Effective AI Agents. anthropic.com/engineering—— 系列表格中的 harness engineering 里程碑。
- 本集实验与项目,所有单元格均在发布前实际运行:gist.github.com/wjlgatech/47eb7973aa5e292524c9c205c73c34d9 —
02_context_budget.ipynb,the-fridge-list,the-desk-memory. - Intelligence Engineering Adventures,第七季,第一集——Prompt Engineering Is a Specification, Not a Spell,对应本集所用的配方卡、计划闸门和确定性指标。