AI-Native 系列 · 智能体工程全对比:提示 · 上下文 · harness · 循环 · 图
循环工程:外部裁判,不是重试
第 4 集(共 6 集)。本系列对比了工程师打造 AI 智能体的五种方式——提示、上下文、harness、循环、图工程:各自的起源、控制对象,以及哪些原则经得起测量。本集聚焦于系统自我纠正的那一阶,以及纠正信号必须来自哪里。
1 分钟速读 —— 你将收获什么
这是什么。 一套对比 AI 智能体工程路径的系列——提示工程(你发出的词)、上下文工程(它能看到什么)、harness 工程(它能做什么)、循环工程(它如何自我纠正)以及图工程(多智能体如何协作)。本集聚焦循环工程:2022 到 2026 年的发展脉络,谁在推动它,以及唯一决定循环收敛还是漂移的设计规则。
为什么这很重要。现在大家都在发布能自我修复的智能体,但一个给自己打分的循环不会变好——只会变得更自信。公开的结果很直接:没有外部反馈,模型在自我纠正推理时会变得吃力,甚至可能越改越糟。我自己的实验里,同一个修复循环在同一个有 bug 的服务上,如果遵循外部裁判,60 个测试能绿 42.6 个;不遵循只剩 9.6 个——比原本的 bug 还糟,全程还在报进展。对创始人来说,这就是产品在真实环境里越用越好,还是越用越烂;对工程师来说,就是 CI 里的一行代码。
读完你能做什么。找出你已经在跑的循环,问清楚是谁在给它打分,然后把这个评分者移到被评分对象之外。你会拿到一个免费的 Colab 笔记本(不用 API key,只用标准库),可以测 20 组种子下的漂移,还有两个从零搭建的小应用:一个学习计划精炼器(413 个被接受的步骤里,没有任何一步让外部分数下降),以及一个修复循环,make gate只要去掉回滚,立刻就会退出码 1。
Season 7 — 系列脉络
- 提示工程——规范,不是咒语 第 1 集
- 上下文工程——预算,不是更大的窗口 第 2 集
- harness 工程——是 envelope,不是 agent 第 3 集
- 循环工程——是外部裁判,不是重试 本集
- 图工程——是排班表,不是人设演员表 第 5 集
- 评估工程——这是真值函数,不是排行榜 第 6 集
本集讲什么,以及为什么循环工程排在第四
本系列每集讲一层,顺序按一篇权威综述的分层:提示→上下文→harness→循环→图,第六层是本季新加的。循环工程是第四层——系统开始审视自己的产出,觉得不够好,然后再来一次。前三层都只影响一次尝试;这是第一层会花多于一次机会的。
有一个问题决定这多花的机会到底值不值:是谁说第二次比第一次好?听起来像细节,其实是整个学科的分水岭。一个生成器很棒但裁判很烂的循环不会原地踏步——它会自信地朝错误方向越走越远,报出来的数字一路上涨。
循环工程的起源,以及现在是谁在推动
[定义] 一个循环本质上是由三个动作组成的控制器:生成一个候选方案, 对其进行评分, 决定是否保留它。循环工程,就是要把这三步设计成:每次重复都能让输出变得更好,而不是仅仅变得不同。本集所有的讨论都围绕第二步展开。
| 时间 | 里程碑 | 推动者 | 带来的变化 |
|---|---|---|---|
| 2022-03 | 自洽性(arXiv:2203.11171) | Wang, Wei, Schuurmans, Le, Chi, Narang, Chowdhery, Zhou | 采样多条推理路径,保留大多数路径都同意的答案。第一个从提示工程演化出来的循环——而且完全没有反馈,只有投票。 |
| 2022-03 | STaR(arXiv:2203.14465) | Zelikman, Wu, Mu, Goodman | 循环自己生成训练数据,只保留最终到达正确答案的部分。筛选器是外部标签,论文明确指出,错误答案会在给出正确答案后重试。 |
| 2023-03 | Reflexion(arXiv:2303.11366) | Shinn, Cassano, Berman, Gopinath, Narasimhan, Yao | 无权重更新的强化:智能体把自己的经验写进情节记忆缓冲区,下次试验时再读出来。在 HumanEval 编程基准上,pass@1 达到 91%,对比基线 80%。 |
| 2023-03 | Self-Refine(arXiv:2303.17651) | Madaan, Tandon, Gupta 等人 | 单一模型同时担任生成器、精炼器和反馈提供者,完全无需训练。7 项任务平均绝对提升约 20%——这是目前发表中最有力的案例,证明模型确实能对自身进行有效批判。 |
| 2023-10 | Cannot Self-Correct Reasoning Yet(arXiv:2310.01798) | Huang, Chen, Mishra, Zheng, Yu, Song, Zhou | 反例,也是本集聚焦的核心论文:一旦移除外部反馈,推理任务中的自我纠正不仅无效,甚至可能适得其反。 |
| 2023-12 | FunSearch(Nature,doi:10.1038/s41586-023-06924-6) | Romera-Paredes 等人,Google DeepMind | 一个语言模型与系统化评估者配对,发现了新的数学结构。循环的思路早已有之,真正让它能发在《Nature》的,是那个外部裁判。Nature. |
| 2024-12 | Building Effective Agents (anthropic.com/engineering) | Anthropic | 业界实践将评估者—优化器模式单独列为一种工作流,并明确要求评估者独立调用。 |
| 2025-05 | AlphaEvolve(deepmind.google) | AlphaEvolve 团队,Google DeepMind | 同样的结构在工业级规模下:一个进化循环,由自动化评估者(而不是模型本身)决定哪些方案能存活——其中一个成果已在生产环境稳定运行超过一年。 |
| 2026-07 | SEAL(arXiv:2607.24300) | Guo, Cao, Yuan, Wang, Wang, Wang | 直接命名并量化了这种失败:智能体自写验证与不可见的封闭审计之间的差距。 |
| 2026-08 | The ladder(arXiv:2608.21156v2) | Feng, Xiang, Yang, Ma | 循环工程被列为五级体系中的第四级,其定义基于用途本身,而不是由哪个框架实现。 |
[设计] 有两点值得特别注意。表格里最早的循环——self-consistency,2022 年——其实完全没有反馈机制:它只做投票,这足以让你对后面所有声称评论家在起作用的说法保持警惕。而那两个真正发现了人类未知事物的系统,FunSearch 和 AlphaEvolve,都是主动把评估器描述为核心支柱。
现在是谁在推动循环工程。 Google DeepMind 占据了前沿阵地——self-consistency、自纠正批判、FunSearch 和 AlphaEvolve 都有 DeepMind 作者——而业界的主流实践经验则来自各大实验室的工程博客。2026 年最有价值的工作,问的不是“智能体能否自我提升”,而是“是什么阻止它悄悄变差”。
心智模型:快餐连锁
厨房阶梯的第四级,其实就是快餐连锁企业,并且这里出现了一个新动词:纠正。你不是在亲自下厨。你有四百家门店,你真正拥有的是这个循环——品尝、测量、纠正、把修正方案推广到每家店。你其实吃不到公司绝大多数做出来的食物,所以你的工作,是决定什么叫“汉堡变好了”,并让这个判断传达到每一个炸锅。
每一家连锁都遇到过这样的失败:你让门店经理给自己门店打分,分数次次都很高,季度复季度,门口的队却越来越短。经理们并没有撒谎;他们的评分标准和做汉堡的脑袋是同一个,所以本该发现问题的,恰恰就是有问题的那个。真正的连锁会派一个外人——神秘顾客、油锅里的温度计——这些工具门店既无法争辩、也无法修改,更不是他们自己设计的。这个外人的名字叫外部裁判.
还有一个东西叫“点缀”:它能让内部分数上升、实际产品变差——比如拍照好看的多余酱料,结果盒子漏了。没人作弊,是指标在奖励它。它会反复出现,最后你才发现,这才是“点缀”的意义所在。
| 级别 | 厨房 | 你的角色 | 你能塑造的内容 |
|---|---|---|---|
| 1. prompt | 菜谱卡——自己做饭 | 在校学生 | 厨师手里的书面指令 |
| 2. context | 储藏间——为家人做饭 | 初级开发者 | 做饭时台面上能用到的所有材料 |
| 3. harness | 餐厅厨房 | 高级开发者 | 各个工位、触手可及的工具、出菜口 |
| 4. loop | 快餐连锁企业 | AI 技术负责人 | 品尝、测量、纠正,再把修正方案推广到每家门店 |
| 5. graph | 全国供应链 | CTO | 多家厨房,一套排班,一支车队 |
| 6. evaluation | 召回日志 | 前沿领军者 | 整个食品体系从召回中学到的经验 |
两条轴线,不止一条。 如果你把那张表当作一架一路攀爬、最终抛下的梯子来看,就会犯下本季反复提醒的分类错误。每个厨房其实同时具备六个层级。随着你往上走,变化的是你能触碰多少层,以及你运行每一层的严谨程度——先凭感觉,再用数据,再加闸门,最后自我纠正。这些学科本质上是分层(一个规范、一个状态、一个控制包络、一个控制流、一种拓扑结构、一个真值函数);而资历则对应成熟度。一个有着漂亮物流图却没有温度计的供应链,远不如那个称重每一盘菜的餐厅成熟。Graph 并不高于 loop。有闸门的 loop 永远胜过装饰性的 graph,这一集讲的就是“加闸门”到底意味着什么。类比可以用来引出观点,但永远不能作为证据——下方的每个元素都在代码里有明确锚点。
这套阶梯不是我发明的
[定义] 术语体系,全部溯源到出处。最清晰的公开表述来自 Feng 等人的综述(arXiv:2608.21156v2,2026-08-26 修订),明确列出了四个层级,并为第五个层级提出了论证。loop 工程是第四层,综述原文对其用途的描述值得一字不差地引用:
"Prompt Engineering to elicit model capabilities, Context Engineering to manage information access, Harness Engineering to organize external tools and resources, and Loop Engineering to support continual reflection and self-improvement"(中译:提示工程用于激发模型能力,上下文工程用于管理信息访问,harness 工程用于组织外部工具和资源,loop 工程用于持续反思和自我提升)
—— Feng, Xiang, Yang & Ma, arXiv:2608.21156v2
[设计] 注意这里有两个空白。它说 loop 是为了持续反思和自我提升;但没有说明由谁来反思,也没有界定“提升”到底是什么。所有失败都藏在这个缝隙里。综述还指出,单一 agent 最终会遇到天花板——"exceeding any single agent's organizational capacity"(中译:超出任何单一 agent 的组织能力)——这正是第五集的入口。
主张,分门别类
[定义] 只有当评分者在生成器之外时,loop 才会真正带来改进。 “在外部”有个检验标准:生成器不能写、不能改、不能提前看到评判用的案例,唯一能提升分数的方式就是做得更好。
[证据] 文献里正反两面都做过实验,这两个结果看似矛盾,其实只要看反馈来自哪里就能解释。先看负面结果。Huang 等人(arXiv:2310.01798,ICLR 2024 版)研究了他们称为内在自我纠正,在摘要页中被定义为:“whereby an LLM attempts to correct its initial responses based solely on its inherent capabilities, without the crutch of external feedback.”(中译:即大型语言模型仅凭自身能力、没有外部反馈辅助,尝试纠正其初始回答的情形。) 他们的结论是:
“In the context of reasoning, our research indicates that LLMs struggle to self-correct their responses without external feedback, and at times, their performance even degrades after self-correction.”(中译:在推理任务中,我们的研究表明,大型语言模型在没有外部反馈时很难自行纠正答案,有时甚至自我纠正后表现还会变差。)
——Huang 等人,arXiv:2310.01798(ICLR 2024)
这个限定条件就是整篇论文的核心:没有外部反馈。这不是说“自我纠正完全无效”;而是指在这种配置下,你让模型自查自己的答案,它只会说“没问题”。
[EVIDENCE] 再来看正面的结果。Reflexion(arXiv:2303.11366)报告的智能体会“verbally reflect on task feedback signals, then maintain their own reflective text in an episodic memory buffer to induce better decision-making in subsequent trials”(中译:对任务反馈信号进行口头反思,并把自己的反思文本保存在情节记忆缓冲区中,以便下次尝试时做出更好的决策),并达到了“a 91% pass@1 accuracy on the HumanEval coding benchmark, surpassing the previous state-of-the-art GPT-4 that achieves 80%.”(中译:在 HumanEval 编程基准上 pass@1 达到 91%,超过了此前最强的 GPT-4(80%))。真实基准线上多出 11 个百分点,这绝不是噪声。
那到底哪种说法才对?答案就在 Reflexion 摘要的第一句话:它列举的环境是“games, compilers, APIs”。编译器不是主观意见。它的摘要确实允许外部和内部模拟信号——反馈可以来自“(external or internally simulated)”,但它报告的 HumanEval 91% 头条结果,是外部信号,因为 HumanEval 自带单元测试。反思是“口头”的, 信号则是机器判定通过或失败。 Reflexion 做的,是模型把外部裁判的判决写下来,下次自己能读到。
[EVIDENCE] Self-Refine(arXiv:2303.17651)是更难的案例,我不会回避。它“uses a single LLM as the generator, refiner, and feedback provider”(中译:用一个LLM同时担任生成器、改进者和反馈提供者),全程没有任何外部信号,“improving by ~20% absolute on average in task performance”(中译:在任务表现上平均绝对提升约20%),横跨七项任务。一个自我评分的循环,居然真的有效。
[DERIVATION] 这个调和点,是你下周一就能落地的规则。Self-Refine的七项任务,正如其摘要原文所说,“from dialog response generation to mathematical reasoning”(中译:从对话回复生成到数学推理);项目页具体列为:评论重写、缩写生成、故事生成、代码重写、回复生成、受限生成和有害内容去除,外加情感反转、数学推理和代码优化的专项分析。这些任务大多属于偏好型——评分者和读者是同一群体,判断本身就接近事实标准。Huang等人的设定则是纯推理:有客观事实,出错的能力还要自己发现错误。当“真相”是偏好时,模型自评虽有偏见但也算合理裁判;但只要有客观对错,比如证明是否成立、代码能否运行、工单是否正确分流——自评就和它要抓的错误高度相关,循环反而会放大问题。几乎所有实际部署的智能体任务都属于第二类。
[OPEN] 真实的限制:Self-Refine的任务集里包含数学推理,论文只报告了七项任务的平均提升约20%。我没查到各任务的单独数据,所以这里只能对两类任务集做归纳,而不是精确拆分Self-Refine的增益。
[EVIDENCE] 最有力的佐证其实不是批判论文,而是那两个用循环发现新东西的系统。FunSearch(Nature,2023)是“an evolutionary procedure based on pairing a pretrained LLM with a systematic evaluator”(中译:一种将预训练LLM与系统化评估器配对的进化式流程),它发现了新的cap-set结构。两年后的AlphaEvolve,“pairs the creative problem-solving capabilities of our Gemini models with automated evaluators that verify answers, and uses an evolutionary framework to improve upon the most promising ideas.”(中译:将Gemini模型的创新解题能力与自动化评估器配对验证答案,并用进化框架持续改进最有前景的想法。) 它的成果已在生产环境应用:一个算法“continuously recovers, on average, 0.7% of Google's worldwide compute resources”(中译:平均持续回收谷歌全球0.7%的算力资源),以及用48次标量乘法完成4×4复数矩阵乘法,超越了Strassen 1969年的结果。两组团队都没有把模型本身当作改进引擎。模型负责提案,评估器决定去留。
[OPEN] stub做不到的事,先说在你看到数字之前。我的实验室能复现那个趋势——一个循环会出错、又是什么阻止了它出错——用一秒钟的免费 CPU、无需密钥就能复现出这个形状。但它无法还原论文中真实的数值大小。它打印出的任何数字都不能作为 Huang 等人退化现象、Reflexion 的 91% 或 AlphaEvolve 的 0.7% 的证据;这些都是在真实模型上测得的,只有论文本身才可引用。stub 能给你的,是一次只变一个变量,而真实模型的运行在周二既太吵又太贵。
1:1 技术映射
链条上的每个环节,都能在代码里精确指向唯一的对象,没有任何装饰成分。
| 链条 | 系统 | 它在代码中的位置 |
|---|---|---|
| 品尝、测量、纠正、推广 | 循环:生成 → 评分 → 接受或回滚 | run(scorer, rollback, budget) |
| 门店经理给自家门店打分 | 内部评分者——生成器自己的估分 | judge(x),即 LLM-as-critic 对自身输出的调用 |
| 油锅里的温度计 | 外部裁判——固定、不可写、事先不可读 | truth(x);现实中对应测试集、编译器、评分标准 |
| garnish(加分项)——看起来更好,实际更差 | 一个让分数变高、但真实质量变低的特征 | 奖励攻破;分数函数里带符号的那一项 |
| 季度报告永远优秀 | 报告分数与真实分数背离 | 验证者-部署差距(SEAL, arXiv:2607.24300) |
| 拒绝上线让门店变差的更改 | 遇到退化就回滚 | accept iff score(new) >= score(current) |
| 无论发生什么,晚上 11 点准时关厨房 | 最大迭代轮次预算 | 停止规则——绝不是“看起来差不多就停” |
| 每家门店都要留的巡检日志 | 账本 | ledger.csv,每个提案一步一行,正式记录 |
| 连锁企业自聘的健康检查员 | 智能体能自己改写的裁判 | 自编测试——SEAL 所揭示的失败 |
| “按口味调整”,见第 1 集 | 不设约束的步骤 | 在第一层损失的是确定性;到第四层损失的是方向 |
[定义] 本集后文会多次用到的四个术语,统一定义如下:
- 已接受步骤的单调性 ——指循环中被保留的步骤里,没有让外部评分降低的比例。目标是 1.000,可在 CI 自动检查。被拒绝的提案不算回退,这是系统在正常发挥。
- 奖励攻破率 ——指被接受的步骤中,表面分数上升但真实分数下降的比例:等于指标为损害买单。
- 验证器—部署间隙 ——系统自我验证与它无法看到的封闭评测之间的距离(SEAL, arXiv:2607.24300)。
预测闸门
在你往下翻之前,先立个 flag——没写下来的预测,事后你总会觉得自己猜对了。循环提出一个修订,打分,分数升就保留,循环 30 次。有一个你看不到的真实质量,你的评分器是这个质量加上生成器能轻松操控的某个特征上的小偏差。
Q1. 30 轮后,系统比最初更好吗?它报的分数比真实分数高还是低?
Q2. 你把有偏的评分器换成完美的外部裁判,其他都不变:循环依然接受每个提案。结果会怎样?
Q3.按每项对最终真实分数的提升幅度排序:(a)把内部评分者换成外部裁判,(b)加上回滚-遇回退,(c)把迭代预算翻四倍。
答案见 Notebook 和 Failure Room。
Failure Room(故障室)
故意把它搞坏。一个你无法搞坏的机制,只是主张,不是机制本身。
Failure 1 —— 你不听的外部裁判。在 {内部评分者, 外部裁判} × {全收, 回滚回退} 这个 2×2 里,两行“全收”在真实分数和回退次数上完全一样——每轮 82.2 分和 13.00 次回退,20 个种子平均——因为一个全收所有提案的循环根本不会读分数;只有它报告的数字不同(自评 104.2,外部裁判 82.2)。大量生产环境的“自我改进”系统正是这样:一个优秀的评分器接到仪表盘上,下游没有任何东西能说“不”。
Failure 2 —— 点缀项(garnish)。实验室的生成器能控制一个廉价特征,真实质量损失 4 分,自评分加 6 分。没人写过“作弊”二字。20 个种子下来,自评循环的点缀项均值 5.10/10,报告分数比真实高 30.6;外部裁判闸门下点缀为 0.00。奖励攻破,就是你在分数函数里留了个和目标无关的正项,搜索自然会钻空子。
Failure 3 —— 智能体能改写的评分者。SEAL(arXiv:2607.24300)说得很明白:智能体同时控制被优化对象和它的验证器,所以"self-assigned scores can remain near perfect while real deployment performance degrades or stays low."(中译:自评分数可以一直接近满分,而实际部署表现却在下降或停滞。)他们的结论就是墙上的那条规则:"Reliable self-improvement need not abandon self-verification, but it requires at least one deployment-acceptance signal outside the agent's control."(中译:可靠的自我改进不必放弃自我验证,但至少要有一个智能体无法控制的部署验收信号。)至少有一个外部信号,不需要全部都外部化。
Failure 4 —— 循环没错,但太慢。在种子 7(单次运行,不是 20 种子均值)下,闸门循环每步收益从预算 10 时的 19.0 掉到预算 60 时的 7.8;真实分数在 60 时触顶 200,再到 120 时一动不动,此时循环还在继续提案和回滚 96 次。预算不是安全护栏,而是经济决策。
Failure 5 —— 我的锅,差点上线的那个。实验室默认种子是 7,因为数字顺眼,我第一下就敲了它。20 个种子里,只有种子 7 的自评循环一次都没碰点缀项,最终和外部裁判闸门结果完全一致。我写了整集讲自评循环内看一切都好,结果主例子正好是唯一和外部裁判一致的那次。别让被测对象自己选测量方式。
Q3 答案:(b),然后(a),最后(c)。给自评循环加回滚,真实分数提升 +45.2(82.2 → 127.4);有了回滚后再把评分者换成外部裁判,额外提升 +21.8(127.4 → 149.2);预算翻四倍,天花板前很有用,之后没啥用。先服从,再谈准确。一个没人听的完美裁判,等于零,这就是 Failure 1 的算术本质。
Notebook(实验本)
labs/04_loop_referee.ipynb · Colab 免费版 · 无需 API key · 只用标准库 · 大约一秒 CPU · 所有代码单元在发布前均已跑通。
共九个代码单元。任务是一个有六个旋钮的“配方”,由一个在循环开始前就已固定、且循环无法修改的函数打分。五个旋钮对应真实质量,第六个是“点缀”,每加一点,真实分数减 4,自评分涨 6——这四行代码就是奖励攻破的全部。六个旋钮,每个取值 0–10。代码单元依次演示了两种评分器、循环本身、2×2 组合、收敛性、20 个种子的主结果、seed 12 下的 30 步账本seed 12(D 单元——seed 7 是 20 个种子里唯一一次循环完全没碰点缀),不变量、预算扫描、所有种子,以及桥接:只需替换两个函数,同样的测量就能直接跑在真实模型上。
[EVIDENCE] 运行结果如下。20 个种子,预算 30,任务完全一致,提案分布也完全一致:
arm final truth it reports regressions hack rate garnish
judge + accept-all 82.2 104.2 13.00 0.125 3.65
judge + rollback 127.4 158.0 3.35 0.217 5.10
oracle + accept-all 82.2 82.2 13.00 0.000 3.65
oracle + rollback 149.2 149.2 0.00 0.000 0.00
runs with ZERO accepted regressions, out of 20:
judge + accept-all 0 / 20 (worst run: 18 regressions)
judge + rollback 1 / 20 (worst run: 6 regressions)
oracle + accept-all 0 / 20 (worst run: 18 regressions)
oracle + rollback 20 / 20 (worst run: 0 regressions)
请盯住第二列看。自评分循环报告 158.0,实际价值只有 127.4。 它既没撒谎也没坏,只是用着唯一的测量工具,而这个工具自带一个偏差。
[DERIVATION] 可以直接交给团队的一句话:“已接受步骤的单调性”是循环里唯一能做到 1.000 的属性。 你无法保证循环一定收敛,或一定收敛到好地方。但你可以保证,所有被保留的步骤都没有让被测量的东西变差——CI 可查,而 20 个自评分循环里有 19 个都没做到。
项目
两套从零搭建的实现:只用标准库,无需 API key,均在本节写作前实际跑过。每一个数字都是真实测量。
项目 1 —— 现实生活:the-taste-test
projects/04-real-taste-test/ · python3 measure.py
一周学习计划,排得一团糟:十个区块,三块长数学,完全没有复习。精炼器每次只提一个修改,判断是否有帮助的两种方式分别是精炼器自己的主观意见,以及循环开始前写好的确定性规则——覆盖五门科目,总时长 540–660 分钟,连续区块不重复科目,复习放最后,单块不超 90 分钟。精炼器的规则就是这些,少了一个它自己没想到的(90 分钟上限,因为三小时连轴看起来很努力),多了一个所有规划者都会有的偏见:小时数就是美德。我不是为了证明而设计这个偏见——写自评分循环时,真的是按自己平时怎么评价一周学习来写的。
scorer mean rubric mean reported non-monotone accepts clean runs
the refiner itself 72.2 126.7 3 / 179 17 / 20
the external rubric 78.2 78.2 0 / 413 20 / 20
[EVIDENCE] 413 个被接受的步骤里,没有一个让外部评分下降。自评分循环一周计划报出126.7分,实际价值只有72.2分,计划总时长660分钟,而有闸门的循环只计划612分钟——每周多出48分钟,实际上根本不会做。接下来出现了我没想到的结果:两个循环都多跑几轮,分差反而越拉越大。
iterations self rubric self reports gated rubric self non-monotone
25 72.2 126.7 78.2 3
50 79.3 133.8 88.8 3
100 83.5 138.0 96.0 3
200 87.3 141.8 104.3 3
在第25次迭代时,有闸门的循环领先6.0分;到第200次时,领先17.0分,而自评分循环报出141.8分,实际只值87.3分。多跑几轮并不能修正一个糟糕的外部裁判,只会让问题越积越深。这恰好和人们在循环表现不佳时本能地“多迭代几次就能补救”的直觉完全相反。
项目2——企业场景:the-release-loop
projects/04-enterprise-release-loop/ · make measure · make gate · make sweep
一张支持工单路由表周一上线,11条规则里有6条指向了错误的队列。一个修复循环每次只提议修改一条规则;每次提议后,整个 golden set 都会跑一遍——60个用例,在循环开始前就定死,循环本身永远不能改——只有当绿色通过数不下降时,这个修改才会被保留,否则就回滚。预算25次作为停止规则,每一步都写入账本,ledger.csv循环永远看不到具体用例,只能看到通过了多少个绿色。
[EVIDENCE]只改一个变量,每个变量20个随机种子:
rollback ON rollback OFF
mean final green 42.6 / 60 9.6 / 60 (baseline 30 / 60)
worst final green 36 / 60 0 / 60
accepted steps that LOWERED 0 of 206 142 of 500
runs with zero such steps 20 / 20 0 / 20
提议相同,预算相同,golden set 相同。服从外部裁判,服务表现为30 → 42.6;无视外部裁判,服务表现为30 → 9.6,比原本的坏表还差,有一组种子甚至60个用例全挂。这不是“循环没帮上忙”,而是“循环发了142次回退还一路报进展”,你的仪表盘上显示的就是“迭代已完成”。
[DESIGN]闸门有三道检查,第三道让前两道有意义:
$ make gate
G1 no accepted step lowers the suite score : PASS (0 violations in 206 accepted steps, 20 seeds)
G2 final green never below baseline : PASS (0 runs below baseline)
G3 negative test — rollback removed must go red: PASS (142 violations with --no-rollback)
GATE PASS - exit 0
$ make gate ROLLBACK=off
G1 no accepted step lowers the suite score : FAIL (142 violations in 500 accepted steps, 20 seeds)
G2 final green never below baseline : FAIL (20 runs below baseline)
GATE FAIL - exit 1
G3借自本作品集的 ANDON 规则,也是唯一一行“红灯就是交付物”的代码:一个从未亮红的闸门和没有闸门没区别。
[OPEN]这两组实验都没能证明什么。两个 golden set 都是合成的,提议器都是带种子的随机编辑,不是真正的模型;企业场景的真实状态是可运行且有闸门,而不是已上线且有真实测量。预算横扫暴露了最关键的极限:预算200时,golden set 60/60全绿,但只有20组种子里有3组重建出了正确的路由表。全绿的 golden set 并不等于服务真的正确——它只是你能检验的最佳代理,这两者的距离正是第6集要讨论的评估问题。
30分钟造出来——契约
输入:一个状态和一个提议者。输出:一个新状态和一条账本记录。不变式:任何被接受的步骤都不会让外部评分下降。停止规则:迭代预算,绝不是“看着差不多就停”。
SCORE = suite.run # EXTERNAL: fixed before the loop, not writable by it,
# cases not visible to the proposer, returns one number
def loop(state, budget): # the budget IS the stop rule
best = SCORE(state)
for step in range(budget):
cand = propose(state) # a model, a mutation, a patch — swappable
score = SCORE(cand) # run the WHOLE oracle, every step, no sampling
keep = score >= best # non-regression, not improvement: plateaus are legal
ledger.append(step, cand, best, score, "accept" if keep else "rollback")
if keep:
state, best = cand, score
return state, ledger
# CI gate (make gate), over 20 seeds:
# accepted steps that lowered SCORE == 0 (accepted-step monotonicity)
# final SCORE >= baseline
# NEGATIVE TEST: with `keep = True`, the first assertion must FAIL
# any line below threshold → exit 1 → the build fails
有意省略:来自提议者的质量信号(这样会把生成器重新放回评分者内部)、外部裁判的部分得分(收敛更快,但也更容易过拟合)、全绿即停(生成器自己吹哨)、以及真实模型(替换 propose).
[设计] 三个特性让它更像企业级产品,而不是一个演示:
- 只要求不退步,而不是每步都提升。
>=而不是>这样循环可以跨过平台期,这很重要,因为大多数单步编辑其实是中性的——而且这样做没有任何代价,只要分数没降,就不是退步。 - 每一步都完整跑一遍外部裁判。 为了省时间去采样测试集,会把噪声重新带回接受决策里,而这种噪声正是你本来要消灭的失败源。
- 账本为正式提交,而不是简单记录日志,而且外部裁判故意只返回一个标量:更丰富的信号虽然收敛更快,但也会让提议者摸清评分标准,这就是“garnish”的温床。
前人工作:同样的不变式是 《循环工程:造一条能兜底的循环》 的主线,其生产形态——机器闸门原样挂载,AI 永不复判——是 《AI PR 审核不能说谎》 的第一条规则。这两者都早于本期测量。
同一主线,五种出场方式
一条主线,每位读者一扇门。
| 如果你是 | 本期改变的决策 | 本周唯一行动 |
|---|---|---|
| 一名高中级别的构建者 | “它能自我提升”其实意味着有个外部人在打分——否则它只会越来越自信。 | 跑一遍 Colab 实验室(1 秒,无需 key),然后把快餐连锁的故事讲给一个朋友听。 |
| 一名 AI 工程师 | 先服从,再谈准确性:如果你的评分者下游没人能说“不”,那这个评分者等于没用。 | 给你手头的某个循环加上回滚(rollback-on-regression)和负向测试。用 20 个种子做闸门测试。 |
| 一位创始人 | “我们的 agent 能从反馈中学习”,只有当这些反馈不是 agent 自己能写出来时,才算护城河。 | 问问你的团队,这个循环的外部裁判是谁,谁能改它。如果答案是“模型”,那这就是结论。 |
| 一位高管 | 一个能自我改进、又能自定义指标的系统,会无限期地报告“改进”。但这些报告本身不是证据。 | 要求每个自动上线的变更,至少有一个系统外部的验收信号。 |
| 一位投资人 | agent 公司真正有护城河的资产,是 oracle——golden set、harness、标注历史,而不是包着它们的循环。 | 让任何 agent 创业公司拿出他们的 ledger:接受的步骤、回滚,以及评分者归谁所有。 |
现实任务
花十五分钟,在你实际运行的某个系统上动手做一次。
- 找出你手头的一个循环——比如重试、批判性检查、“再生成”按钮、每晚自动重写规则的作业。
- 把评分者的名字明确说出来。 谁来决定第二次尝试是不是更好?如果答案是“模型”,或者“没人,我们就留最后那个”,那这就是问题所在。
- 写下你可以用来打分的外部对象:比如测试集、编译器、五条规则的评分表,或者一周的历史结果。它不必完美,但必须在系统之外。
- 加一条规则:只有当这个外部分数没降时,才保留新版本。每个提案都要记录,包括被拒绝的。
- 运行二十次,数一数有多少被接受的步骤让分数下降。如果不是零,你的回滚就没真正接上线。
如果第 2 步发现你根本没有循环,那你还在第四阶梯以下,此时你所有关于系统“自我改进”的说法,其实都是你手动改进的。
研究挑战
把这个任务交给一个 agent,并预注册你的预测——你没预料到的结果,事后你一定会合理化。
选一个有可检验输出的任务和一个真实模型。用 N=20 个种子、每次 30 轮循环做基线。然后交叉变化两个因素:评分者(模型自评 · 固定外部 oracle · oracle 加模型点评)和接受规则(全都接受 · 回滚回退 · 回滚并加置信度阈值)。每个九宫格都要报告最终真实分数、accepted-step monotonicity、奖励攻破率和 token 成本。
预注册: 哪个因素影响更大,以及在一个有效的外部 oracle 之上再加一层模型自我批判到底是加分还是减分。
我的 stub 认为,接受规则的影响大于评分者(+45.2 比 +21.8),但我不认为这个结论能直接迁移到真实模型上——真实模型的内部评分远比一个固定乐观偏置要嘈杂得多。如果你测出来的排序和我相反,那就是一篇可以发表的反例。
最新进展
本梯级截至发稿时的最新状态,来自对 30 个先锋来源的每周实时同步,research-anything (make watch-sync,按技术信号强度排序,绝不按受众规模。下列每一项均取自其 arXiv 摘要页。
同步日期:2026-09-11。
- arXiv:2608.17018 (2026-08-17) — ORCA:面向微服务故障的可观测性驱动程序修复。 一个修复循环,其外部裁判是 Telemetry-Grounded Patch Verifier,分别对补丁有效性、正确性、测试 oracle 完整性和遥测回放进行判定,覆盖 575 个案例——四个可检验的维度,而不是一个主观判断。
- arXiv:2608.21156v2(2026-08-26 修订)——将 loop engineering 定位为第四阶的综述,也是本系列主线的出处。
- arXiv:2608.26530 (2026-08-27) — PILOT in the Loop:长程智能体的实时自我改进。 一个 supervisor–worker 型 harness,独立的 supervisor 可以在 worker 运行中途重定向或中止其操作。结构性创新在于分离:执行和评判分属不同上下文。
- arXiv:2609.11873 (2026-09-10) — The Last AI Built by Humans:迈向真正递归自我改进。 截稿时刚上线一天;描绘了从执行改进到递归元改进的自主等级路线图——这是领域的意图,而非已测量的事实。
- 更早但有分量的:arXiv:2607.24300(2026-07-27)——SEAL,正文两次引用;arXiv:2608.05810 (2026-08-06) — When Self-Evolution Backfires,发现技能积累在超过某个临界池规模后会变得非单调,因此 admission 必须是预提交闸门;arXiv:2608.10502(2026-08-11)——依赖关系引导的回滚修复,将同样的不变式应用到持久化记忆。
[OPEN] 进展未变:到目前为止,还没有人发表过上文 Research Challenge 所要求的那种标准因子实验——在真实模型上,交叉对比打分者的位置和接受规则,并报告成本。整个领域已经把结论内化了,但还没有发表能拆分出到底是哪一环起主要作用的消融实验。
出场测试
不许往上翻。
- Reflexion 报告了大幅提升,Huang 等人报告了性能下降。请说明二者之间如何区分才能调和这两个结果,并列出 Reflexion 摘要中提到的环境。
- 为什么 2×2 中两个“全接受”行的真实得分是一样的?这对一个只连到仪表盘的评估器说明了什么?
- 什么是 accepted-step monotonicity(接受步单调性),为什么它只定义在被接受的步骤上?在一个正常工作的循环里,这个值应该是多少?
- Self-Refine 是一个自评分的循环且确实有效。什么时候模型自己的判断可以算作合格的外部裁判?为什么你实际部署的系统几乎都不满足这个条件?
- 你的测试集 60/60 全绿。请给出两个理由,说明这并不等于“服务是正确的”。
悬念
你把外部裁判搭建好了:在生成器之外、不可写、事先不可读、每次回归都回滚、预算让厨房十一点准时关门,账本里还记着每一个被拒绝的提案。make gate exits 0,你会有那么一个下午,觉得自己已经彻底解决了“改进”这个难题。
然后你给它加活。不是更难的活——只是更多。四家门店变成四十家。测试集从九毫秒拉长到九分钟。一次修复要动到定价服务、认证服务,还有那个自五月起没人认领的模块。循环开始掉队,不是因为外部裁判变差了,而是因为裁判只有一个,前面只有一个工人,后面排队的变成了整个公司。
那份综述早就用一句话预见了这一幕:任务"exceeding any single agent's organizational capacity"(中译:超出任何单一智能体的组织能力)。不是智力问题,而是组织能力——一个系统能同时扛住多少事。
那份“garnish”呢?它从来没消失,只是换了地方。当有十二个智能体,其中一个写总结给其他人看时,那个能拉高分数的廉价特征就不再是多加的酱料,而变成了一句自信的陈述。
第五集——图工程。无数厨房,一张总排期,一支车队——你会发现,真正决定系统设计的,是智能体之间的连接关系,而不是每个角色的“人设”。
延伸阅读
第 4 集,智能工程冒险,第七季——厨房阶梯。所有论断都按类别标注——定义、推导、证据、工程选择、开放问题——比喻可以引入观点,但永远不能作为证据。每集都配有一个 Colab 笔记本(免费,无需 API key),以及两个从零搭建的应用,一个个人场景,一个企业场景。五级阶梯来自 Feng 等人(arXiv:2608.21156),并非我自创;第六级“评估工程”是本季自己的主张。“What moved”基于 30 个先锋来源的每周技术信号同步,始终按技术信号排序,从不看流量。本篇不含任何雇主或客户内容。——Paul Jialiang Wu · futuremake.io
参考文献
- Huang, J., Chen, X., Mishra, S., Zheng, H. S., Yu, A. W., Song, X., Zhou, D.(2023–2024)。Large Language Models Cannot Self-Correct Reasoning Yet. arXiv:2310.01798,v2(2024-03-14),该版本摘要页标注为ICLR 2024。——材料来源:arXiv 摘要页;两处引用(“intrinsic self-correction… without the crutch of external feedback”和“struggle to self-correct… performance even degrades”)均为原文。
- Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K., Yao, S.(2023)。Reflexion: Language Agents with Verbal Reinforcement Learning. arXiv:2303.11366,v4。——材料来源:arXiv 摘要页;episodic-memory 句、“games, compilers, APIs”列表及 HumanEval 91%/80% 数据均为原文引用。另有“(external or internally simulated)”原文引用。
- Madaan, A., Tandon, N., Gupta, P. 等(2023)。Self-Refine:自反馈驱动的迭代优化。 arXiv:2303.17651,v2。—— 资料来源:arXiv 摘要页;“uses a single LLM as the generator, refiner, and feedback provider”(中译:用单一 LLM 同时担任生成器、精炼器和反馈提供者)以及“~20% absolute on average”(中译:平均绝对提升约 20%)均为原文引用。摘要中“from dialog response generation to mathematical reasoning”(中译:从对话生成到数学推理)为原文引用;具体任务列表(复习重写、缩写生成、故事生成、代码重写、回复生成、约束生成、有害内容去除,以及情感反转/数学推理/代码优化分析)来自项目主页selfrefine.info,抓取于 2026-09-11——这些任务名未出现在摘要中,正文未查阅。
- Romera-Paredes, B. 等(2023)。利用大语言模型进行程序搜索,发现数学新知。 Nature, doi:10.1038/s41586-023-06924-6,发表于 2023-12-14。—— 资料来源:nature.com 免费摘要;“an evolutionary procedure based on pairing a pretrained LLM with a systematic evaluator”(中译:将预训练 LLM 与系统化评估器配对的进化式流程)为原文引用。正文未查阅,亦未引用。
- Google DeepMind,AlphaEvolve 团队(2025-05-14)。AlphaEvolve:Gemini 驱动的高级算法设计智能体。 deepmind.google。—— 资料来源:博客文章;“automated evaluators that verify answers”(中译:自动化评估器验证答案)、0.7% 全球算力回收率和 48 次标量乘法的结果均为原文或直接转录。博客将一年多的生产部署归功于 AlphaEvolve 发现的 Borg 调度启发式,而非 AlphaEvolve 本身。相关白皮书 PDF已查阅但未在此引用。
- Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., Zhou, D.(2022)。自一致性提升大语言模型链式推理能力。 arXiv:2203.11171,v4,ICLR 2023。—— 2022 年标志性成果:一个只有投票、没有反馈的循环。
- Zelikman, E., Wu, Y., Mu, J., Goodman, N. D.(2022)。STaR:用推理自举推理。 arXiv:2203.14465,v2。—— 该循环的筛选器是正确答案。
- Feng, Y., Xiang, Z., Yang, C., Ma, Q. 等(2026)。LLM 代理时代的图工程:从个体智能到系统智能。 arXiv:2608.21156v2,2026-08-26 修订版。—— 五级主线的来源;“Loop Engineering to support continual reflection and self-improvement”(中译:循环工程用于支持持续反思与自我提升)和“organizational capacity”(中译:组织能力)均为摘要页原文引用。
- Guo, D., Cao, C., Yuan, F., Wang, Y., Wang, Y., Wang, D.(2026)。自编验证在启发式自改进智能体中并不可靠。 arXiv:2607.24300,2026-07-27。—— 验证者-部署差距与密封外源验收循环,均为摘要页原文引用。
- Shang, L., Xu, M., Sun, Y. 等(2026)。自进化的反噬:LLM 智能体技能污染下的预提交闸门。 arXiv:2608.05810,2026-08-06。—— 仅描述,未引用原文:技能积累的非单调性,以及为何需要预提交准入。
- Xiao, Y., Sun, Y., Wu, H. 等(2026)。PILOT in the Loop:长程智能体的实时自改进。 arXiv:2608.26530,2026-08-27。—— “what moved”(最新进展);根据摘要页描述。
- Duan, Y., Liu, Y., Tang, Z. 等(2026)。人类建造的最后一个 AI:迈向真正的递归自改进。 arXiv:2609.11873,2026-09-10。—— “what moved”(最新进展);根据摘要页描述。
- Gao, Y., Tian, Y., Li, Y., Zhang, C., Jacobsen, H.-A.(2026)。ORCA:基于可观测性的微服务故障程序修复。 arXiv:2608.17018,2026-08-17。—— “what moved”(最新进展);根据摘要页描述。
- Yu, C., Wang, Y., Zhang, J. 等(2026)。From Faulty Memories to Corrected Actions: Dependency-Guided Rollback Repair for Memory-Augmented Agents. arXiv:2608.10502,2026-08-11。——据摘要页内容整理。
- Anthropic(2024-12-19)。Building Effective AI Agents. anthropic.com/engineering。——评估器-优化器工作流,文中为描述性引用;同时也是系列总览表中 harness 工程的标志性成果。
- Dhage, S.(2026)。Harness Engineering for Predictable Agentic Systems: An Empirical Study of Deterministic Execution Constraints. arXiv:2608.26197,2026-08-25。——第 1 集的核心测量,在系列总览表中有引用。
- Yao, S. 等(2024)。τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv:2406.12045。——第 3 集采用、并将在第 6 集测量的 pass^k 框架。
- Weng, L.(2026-07-04)。Harness Engineering for Self-Improvement. lilianweng.github.io。——harness 工程这一层的标志性文章,已列入系列总览表。
- Brown, T. B., Mann, B. 等(2020)。Language Models are Few-Shot Learners. arXiv:2005.14165。——GPT-3 few-shot,prompt engineering 的标志性成果,已在系列总览表中标注。
- Wei, J., Wang, X. 等(2022)。Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903。——系列总览表中的提示工程里程碑。
- Khattab, O., Singhvi, A. 等(2023)。DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines. arXiv:2310.03714。——系列总览表中的提示工程里程碑。
- Wu, Q., Bansal, G. 等(2023)。AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv:2308.08155。——系列总览表中的图工程里程碑;LangGraph:github.com/langchain-ai/langgraph.
- Anthropic(2025-09-29)。Effective context engineering for AI agents. anthropic.com/engineering。——系列总览表中的上下文工程里程碑。
- Liang, P., Bommasani, R., Lee, T. 等(2022)。Holistic Evaluation of Language Models. arXiv:2211.09110,v2 修订于 2023-10-01。——系列总览表中的 HELM 评估工程里程碑,仅作描述,未直接引用。
- Zheng, L., Chiang, W.-L., Sheng, Y. 等(2023)。Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685,v4。——系列总览表中的 LLM-as-a-judge 里程碑,仅作描述,未作引用。
- Kapoor, S., Stroebl, B., Siegel, Z. S., Nadgir, N., Narayanan, A.(2024)。AI Agents That Matter. arXiv:2407.01502,2024-07-01。——系列总览表中的评估工程里程碑,仅作描述,未作引用,也是第六集的主题。
- Wu, P. J.Loop Engineering: Build the Loop That Catches You (本站)和AI PR Review That Cannot Lie (本站)。——作者本人此前关于该模式的公开作品,被作为两项构建的前置案例引用。
- 实验室与两个项目:gist.github.com/wjlgatech/b1ca818d1695a86b5f99a1724c58ee80 —
04_loop_referee.ipynb,p1_taste_test.py,p2_release_loop.py及其 README。本文所有引用的数据均由这些文件在 2026-09-11 输出。