AI-Native 系列 · 智能体工程全对比:提示 · 上下文 · harness · 循环 · 图
评估工程是「真值函数」,不是排行榜
第六集,也是本季收官。前五集结尾都落在一个数字上——确定性 1.000、泄漏为零、无越界调用——而这些数字全都来自没人审查过的评分器。这一集就是给评分器打分的那一格,也解释了为什么梯子的第六层直到现在才补上。
1 分钟速读——你能带走什么
本集讲什么? 本系列是六种 AI 智能体工程方法的对比终章——提示工程(你发出的词)、上下文工程(它能看到什么)、harness工程(它能做什么)、循环工程(它如何自纠)、图工程(智能体如何协作),以及 评估工程(什么才算对)。本集聚焦评估工程:从 2022 年 HELM 到上个月 judge benchmarks 的发展脉络,谁在推动这门学科,以及哪些原则经得起实测。
为什么这件事重要。 你看到的每一个 AI 系统数字——无论是准确率、确定性、通过率,还是“评测绿了”——其实全都是某个评分器的产物,但几乎没人去测评分器本身。在本集实验室里,有一个 judge 在 80 个留出样本上与人工标签的 Cohen's kappa 得分为 0.585,经过两个简单修正(judge 本身没变),kappa 提升到 0.899;同一个 agent 跑 800 次,结果可以是 pass@8 = 0.99,也可以是 pass^8 = 0.03,只取决于你用哪种报表方式。对创始人来说,这就是“指标”与“退款”之间的距离;对工程师来说,这是你今天下午就能加上的一道闸门。
读完你可以做什么。 亲手标注 20 条你的 agent 输出,先测一测评分器和你自己的标签一致到什么程度,再决定要不要信它一句话。你会拿到一个免费的 Colab 笔记本(无需 API key,只用标准库),还有两个从零搭建的小应用:一个习惯打卡报告卡(评分器自称我连续坚持了 68%,其实并没有),还有一个审计台——CI 闸门只要遇到未测项目被算作通过就直接退出(exit 1)。
Season 7 — 系列脉络
- 提示工程——规范,不是咒语 第 1 集
- 上下文工程——预算,不是更大的窗口 第 2 集
- harness 工程——是 envelope,不是 agent 第 3 集
- 循环工程——是外部裁判,不是重试 第 4 集
- 图工程——是排班表,不是人设演员表 第 5 集
- 评估工程——这是真值函数,不是排行榜 本集
本集讲什么,以及为什么评估工程是第六层
本季对比了构建 AI 智能体的六大分支。前五个分支都有明确的发表年份——提示工程(2020)、循环工程(2022)、图工程(2023)、harness工程(2024)、上下文工程(2025)。Feng 等人(arXiv:2608.21156)按照每个分支能让你掌控的内容排序——提示、上下文、harness、循环、图——这也是本季各集的顺序,但并非各自的里程碑年份。第六行自第一集起就在每一集的表格中预留,???。
[DESIGN] 这里把原因一次性讲清楚,作为正式记录。2026-09-03 第一集上线时,一位外部评审建议,第六层的空位应当是评估工程——也就是每一层都要借用的真值函数,只有靠它才能判断自己是否真的变好——背后还涉及治理、经济和组织。第一集把它记作候选,决定权留给我,因为没论证就命名一层,正是本季要避免的“清单式”操作。现在论证已经补上,所以在这里正式定名:第六层就是评估工程。它之前一直没命名,是因为一个分支只有打破下方那一层才能赢得自己的位置,而你得先有下方那几层,才能证明它能打破。
每一集都问了本层四个问题:它从哪来,你能掌控什么,谁在推动,哪种失败会逼你升级。这一集多了第五个问题,也是为什么它是大结局而不是附录:是谁告诉你前面五层真的有效?
适合谁看。 适合 CI 显示通过但用户反馈却不理想的 AI 工程师;准备把基准分数写进路演材料的创始人;要为即将接触资金的智能体签字的高管;想弄明白“the eval”到底是什么的高中生。前提:你曾经信过一个数字。
评估工程从哪来,现在是谁在推动
[DEF] 一个eval,在 Anthropic 自己的定义里,是"a test for an AI system: give an AI an input, then apply grading logic to its output to measure success"(中译:对一个 AI 系统的测试:给 AI 一个输入,然后用评分逻辑判定其输出是否成功)——这个定义之所以准确,是因为它把评分逻辑直接放在系统内部,而不是作为外部附加。评估工程,指的就是构建这套评分逻辑,让它的分数值得信赖,并且还要对评分逻辑本身进行测量——而这一步几乎所有人都会忽略。
| 时间节点 | 里程碑 | 提出者 | 带来的变革 |
|---|---|---|---|
| 2022-11 | HELM:语言模型的整体性评估 (arXiv:2211.09110) | Liang 等人,Stanford CRFM | 在此之前,模型平均只在 17.9% 的核心场景下被评测;之后,在标准化条件下,这一比例提升到 96.0%,并且采用了七项指标,而不再只是准确率。评估由此成为基础设施。 |
| 2023-06 | Judging LLM-as-a-Judge (arXiv:2306.05685) | Zheng 等人,LMSYS / UC Berkeley | 强模型可以对开放式答案打分,达到接近人类的一致性——但也带有可测量、可缓解的位置、啰嗦和自我提升偏差。评分器本身成为了研究对象。 |
| 2023-07 | 大型语言模型评估综述 (arXiv:2307.03109) | Chang 等人 | 将整个领域梳理为评什么,在哪里,以及如何,并明确提出评估应当作为一门独立学科来看待。 |
| 2023-10 | SWE-bench(arXiv:2310.06770) | Jimenez 等,Princeton | 2,294 个真实 GitHub issue 任务,通过仓库自带测试是否通过来判定。用执行判定(execution oracle)取代相似度分数。当时表现最好的模型只解决了 1.96%。 |
| 2024-03 | Your AI Product Needs Evals (hamel.dev) | Hamel Husain | 实战派的经典文献。不成功的 LLM 产品"almost always share a common root cause: a failure to create robust evaluation systems"(中译:几乎总是有一个共同根源:没有建立健壮的评估系统),而解决之道是三层阶梯:单元测试、人机混合评测、A/B 测试。 |
| 2024-06 | τ-bench(arXiv:2406.12045) | Yao 等,Sierra | 引入了pass^k——要求 k 次全部通过——因为只要通过一次就算成功,实际上美化了那些没人敢上线的智能体。 |
| 2024-07 | AI Agents That Matter (arXiv:2407.01502) | Kapoor 等,Princeton | 成本应计入指标;holdout 集往往不足甚至缺失;基准测试和实际部署需求不同。这是当前智能体评估实践中被引用最多的批判。 |
| 2023–26 | OpenAI Evals(github.com/openai/evals)以及公开评测竞技场(lmarena.ai) | OpenAI;LMSYS / LMArena | Evals 已经成为可交付的工程产物——一个可以注册测试用例的框架,以及一个实时众包排名系统。Goodhart 定律也正是在这两个场景中首次显现。 |
| 2026-01 | Demystifying evals for AI agents (anthropic.com/engineering) | Anthropic | Evals 作为 CI 工具,而不是论文成果:"Automated evals are especially useful pre-launch and in CI/CD, running on each agent change and model upgrade as the first line of defense against quality problems."(中译:自动化评测在上线前和 CI/CD 阶段尤其有用,每次智能体变更或模型升级时都会运行,是防止质量问题的第一道防线。) |
| 2026-08 | 评测基准(arXiv:2608.26623)和污染分类体系(arXiv:2608.29463) | Verma 等;Angulo 等 | 发稿前三周:评测者本身也被纳入基准测试,污染问题则按被攻破的缓解措施进行归类。 |
[DESIGN] 请注意,排行榜并不在上述清单中。评分器和智能体一样,都是一级一级进化上来的——从精确匹配、相似度分数、执行判定到模型,每一步都在用覆盖率换取确定性。排行榜只是最终的输出结果;真正的学问在于背后的那套机制,而这两者里,只有后者值得拍一张截图。
现在是谁在推动这条赛道。 学术界主导了批判——Princeton(Kapoor、Narayanan、Jimenez)、Stanford CRFM、LMSYS/LMArena。工业界主导了落地实践:Anthropic 把 evals 作为 CI 工具,OpenAI 则发布了可注册测试用例的框架。而最新的一层,是整个主题都聚焦于评分器的快速增长文献——AgentJudgeBench,即关于语音智能体和移动智能体评分器的研究。两年前还不存在,如今的出现正是这一层已成现实的明确信号。
心智模型:召回日志
有一张图串联了整整六集——这次是最后一次亮相。每个厨师都在攀登同一架梯子:你自己、家人、餐厅厨房、快餐连锁、服务多家连锁的全国供应链;每个 AI 工程师也在爬一架对应的阶梯:学生、初级开发者、资深开发者、AI 技术负责人、CTO、前沿领军者。第一阶是菜谱卡,第六阶是召回日志.
一个国家级食品系统不会从那些一切正常的盘子里学到什么。它只会从出错的批次中吸取教训——比如那批让人吃坏肚子的菜,或者标签和实际不符的油供应商。召回日志是系统里唯一能宣布“其他环节产出的数字是错的”的文档。
而且它有一个没人愿意面对的特性:空的召回日志只有两种可能,只有一种才算好消息。要么食物真的安全,要么根本没人检测。站在日志内部,这两种情况看起来一模一样——所以,仪表盘一片绿灯并不能说明问题。
| 梯级 | 厨房 | 你的角色 | 你能主导的环节 |
|---|---|---|---|
| 1. prompt | 菜谱卡——只为自己做饭 | 学生 | 厨师手里的书面操作指令 |
| 2. context | 储藏室——为家人做饭 | 初级开发者 | 做饭时台面和冰箱里能用到的东西 |
| 3. harness | 餐厅厨房 | 资深开发者 | 各个工位、触手可及的工具、每道菜都要过的传菜口 |
| 4. loop | 快餐连锁 | AI 技术负责人 | 品尝、测量、修正,再把修正推广到每一家门店 |
| 5. 图工程 | 全国供应链 | 首席技术官(CTO) | 多家厨房,一套排班表,一支卡车车队 |
| 6. 评估工程 | 召回日志 | 前沿带头人 | 整个食品体系从被退回的问题中吸取的教训 |
不是单一维度,而是双轴结构。 每个厨房其实六层齐备:家常厨师有菜谱、有储藏柜、有灶台、有试吃、有供应商——还有一道让人吃坏肚子的菜的记忆。随着你晋升,真正变化的是 你可以实际参与的层数,以及你把每一层做得有多严密:先凭感觉,接着量化,再加闸门,最终实现自我纠错。这六门学科是层级(你能掌控的部分);资历则体现在成熟度(你运行它们的方式)。评估工程并不比图工程更“高阶”:一个三节点的图,配上校准过的黄金集,比一个只有“演示跑得顺利”作为评估的四十智能体拓扑更成熟。这一点在这里最明显,因为评估工程常常是团队唯一零成熟度运行的层级,哪怕其他层都做得很精细。
这个比喻可以用来引入观点,但不能作为论据。真正的锚点在下面的 1:1 技术映射里。
术语表,溯源出处
[定义] 这里有四个关键词,其中有三个在实际用法中经常被混淆。
- 黄金集 ——输入及其结果由 人工 标注;不是你模型产出的结果然后你自己扫一眼。关键特征:黄金标签可以与你的系统判断不一致,并且以它为准。
- 评分器 ——任何评分逻辑:字符串比对、断言、测试套件,或者让模型回答“对了吗?”Zheng 等人证明了最后一种方式可行,并且带有可测量的偏差;这两点都很关键。
- Cohen's kappa(κ) ——两个标注者之间 高于随机水平 的一致度。原始一致率不是指标:本集第一个单元格里,抛硬币和固定列表的原始一致率有 47.7%,但 κ = −0.046。常用的 κ 区间来自 Landis 和 Koch(1977),作者自己就说是拍脑袋定的基准,不是推导出来的;论文有墙,这里只描述不引用。我用 κ ≥ 0.60 作为工程底线,仅仅因为他们的“substantial”区间从这开始,不是因为 0.60 是世界的真理。
- pass@k 与 pass^k ——在 k 次尝试中 至少一次 通过,与每次都通过的对比。Yao 等人在 τ-bench 中引入了后者,因为即使是最先进的函数调用 agent 也 "quite inconsistent (pass^8 <25% in retail)"(中译:表现极不稳定(实际业务中 pass^8 小于 25%)).
[OPEN] 有个短语我故意不定义:“the eval passed”。你没说清楚用哪个黄金集、谁来评分、怎么报告、k 取多少、与人工一致度是多少,这句话就没有实际指代。把这五个问题答明白,你根本不需要这个短语;答不明白,这短语就是用来遮掩的。
主张分类
[DEF] 评估工程就是“真值函数”。其他每一层的自我声明,都是这一层的输出,所以你系统的准确率上限就是评分器的准确率——就像尺子的误差决定了你能量得多准。
[EVIDENCE] 三个已发表的测量结果,从三个方向把这点变成了字面意义。
第一,评分器本身带偏见,而且已经被量化。 Zheng 等人(arXiv:2306.05685, v4)研究了 "the usage and limitations of LLM-as-a-judge, including position, verbosity, and self-enhancement biases, as well as limited reasoning ability"(中译:LLM 作为 judge 的用法与局限,包括位置偏差、啰嗦偏差、自我提升偏差,以及推理能力有限),还专门测量了好消息:强力的 judge "can match both controlled and crowdsourced human preferences well, achieving over 80% agreement, the same level of agreement between humans."(中译:能很好地匹配受控和众包的人类偏好,一致率超过 80%,与人类之间的一致率相当。) 这对结果本身才是关键:judge 的表现和人类差不多,但会被你先展示哪一个答案所影响。只吸收了前半句的团队,其实是在用一个从未测量过的工具,却还自带口碑。
第二点——报告规则是一个自由变量,影响力甚至超过大多数模型升级。 Yao 等人(arXiv:2406.12045)发现,最先进的函数调用 agent——他们用的抽象名是 gpt-4o——"succeed on <50% of the tasks, and are quite inconsistent (pass^8 <25% in retail)"(中译:在不到 50% 的任务上成功,且表现极不稳定(零售场景下 pass^8 小于 25%)),于是提出了 pass^k,让不稳定性无法被平均掩盖。agent 在 pass@8 和 pass^8 之间本身没有任何变化,变的只是你用同一批实验问了哪个问题。
第三点——基准测试会逐渐偏离你真正关心的目标。 Kapoor 等人(arXiv:2407.01502)是三者中最让人不安的,因为它的发现全都不是关于模型本身。它指出"a narrow focus on accuracy without attention to other metrics"(中译:只关注准确率,忽视了其他指标),结果导致"SOTA agents are needlessly complex and costly, and the community has reached mistaken conclusions about the sources of accuracy gains."(中译:SOTA agent 变得不必要地复杂和昂贵,社区对准确率提升的来源产生了错误结论。) 更致命的是:"many agent benchmarks have inadequate holdout sets, and sometimes none at all"(中译:许多 agent 基准测试的保留集不足,甚至有的完全没有),最终产出的 agent"fragile because they take shortcuts and overfit to the benchmark in various ways."(中译:非常脆弱,因为它们会走捷径,并以各种方式过拟合基准测试。)
[DERIVATION] 把这三点合起来,就是本集存在的理由。一个报告出来的分数并不是单一测量,而是三者的合成——agent 的实际表现, judge 与人类的符合度,以及多次实验下采用的报告规则。你通常只会看到第一个,然后被告知这就是全部。团队把 agent 提升了 5%,judge 一点没动,分数就可能朝着未知方向、以未知幅度漂移。
上个月的污染分类法从排行榜视角也得出了同样的结论:一个基准分数,其实是模型、harness工程、提示预算、采样人群和污染状态的共同产物——"Leaderboards publish the model and the score, so capability and leakage stay observationally equivalent"(中译:排行榜只公布模型和分数,因此能力和泄漏在观测上是等价的)(arXiv:2608.29463)。五个输入只公开了两个。这正是本集标题的由来。
一对一技术映射
召回日志里的每个环节,都能在代码中精确找到对应物。
| 召回日志 | 系统 | 对应位置 |
|---|---|---|
| 那批被召回的问题产品 | 一个未通过的项目 | 黄金集中的一条 |
| 定义“错误”的文件,在这批产品发货前就写好 | 黄金标签 | 人工写定的基准数据 |
| 负责判定一批产品是否有问题的检查员 | 评分器(judge) | 一个测试、断言或模型调用 |
| 从未判定过任何厨房有问题的检查员 | 退化评分器 | κ = 0.000,且通过率100% |
| 第二位检查员再次造访同一家厨房 | 一致性测量 | Cohen's κ 与人工标签的对比 |
| 周二去一次,周五再去一次 | 交换顺序重新评判 | 两种顺序都评分,最后取平均 |
| 检查员也无法下结论的一批 | 未测项目 | UNMEASURED——直接排除,绝不算通过 |
| 八次探店有一次吃坏肚子 | 多次试验下的可靠性 | pass^k,而不是pass@k |
| 为检查而训练出来的连锁体系 | 基准集过拟合 | 没有留出集(Kapoor 等) |
| 一份空的召回日志 | 没有信号,或者根本没测 | 覆盖率:实测数量 ÷ 判定数量 |
[定义] 有一行内容值得单独说明——这是两个项目都建立在其上的不变规则,也是我自己研究工作早已遵循的原则:没有证据就代表未测,绝不代表通过。判定器无法决定的项目不是勉强算成功,而是信息缺失,最诚实的记录就是第三种状态。没有这个状态的系统不会变得更准确,只会在报告者希望的方向上悄悄变得宽松。
判定门
别急着往下翻,先做个承诺。你的判定器在完整的 100 项数据集上,有 79 项与自己手工标注的结果一致(20 个校准项还没剔除)。
Q1. 它的 Cohen's kappa 大约是多少?79% 的一致率算好吗?
Q2. 你对判定器什么都不改,但每个项目都让它判两遍——一次候选在前,一次候选在后——然后取平均。kappa 会发生什么变化?100 个项目里有多少个因为顺序不同而改变判定?
Q3. 一个 agent 解决 100 个任务,每个任务的成功概率在 0.25 到 0.95 之间,每个任务各跑八遍。按数值从大到小排序:pass@1、pass@8、pass^8。
Q4.你的评分器存在一个固定方向的偏差。这会更影响你的实测pass@8还是你的pass^8?
答案见 Failure Room。如果你觉得第4题一眼就会,建议花四分钟看看 notebook 的第8格。
Failure Room(失效实验室)
故意把它搞坏。任何无法被你主动搞坏的机制,都只是一个未经检验的主张。
Failure 1 —— 总体数字没问题,底下的判决却全是错的。实验室里的那个朴素评分器,报告通过率0.720,而黄金集的真实通过率只有0.510,和人工标签100个里有79个一致。看起来都还能接受;但kappa只有0.576(全100项,80个hold-out是0.585),说明大部分一致其实是碰巧。总体数字可以贴近真相,但底下的每个决策却可能错得离谱,而你上线的其实是这些决策。一个没有一致性指标的通过率,只是带小数点的传闻。
Failure 2 —— 永远不会判失败的评分器。我特意造了一个:无论什么都返回PASS的评分器。通过率1.000,kappa正好0.000。这就像一个从未给厨房打过不及格的食品检查员——记录完美,正是你绝不该去那家餐厅的理由。这不是假想敌,而是所有评分器把阈值调到仪表盘好看时的极端情况。我自己写过这种评分器,写的时候还觉得自己在进步。
Failure 3 —— 第一集的空盘子依然在菜单上。第一集结尾时有个agent,每次都返回{},所以可复现率是1.000。五集之后,这只空盘子又顺利通过了本集的审核台,审核台自己的规则也解释了原因:空答案永远无法判定,所以每一项都落在UNMEASURED,而那个拒绝通过的标志make negative,正好就是把UNMEASURED计入分子的地方。一个{},已经连续六次通过厨房考核,成了本季最成功的agent,却从未产出过任何输出。每个指标都允许某种极端输入把它刷满,而防御手段从来不是换个更好的指标——而是用能被极端输入击穿的第二个指标来拆穿它。确定性要和任务成功率一起看,通过率要和kappa一起看,覆盖率要和它们俩一起看。
Failure 4 —— 修正一个偏差,反而暴露另一个,看起来像退步。这让我重写了一遍实验室。最初的版本里,每个item出现的位置是随机的;后来换成交换顺序,kappa反而从0.820降到0.780,因为原本的随机位置偏差正好抵消了一部分冗长偏差。两个方向相反的错误叠加起来,看上去就像准确率。如果修正后你的指标变差,第一假设应该是不是修正错了,而是你的指标原本被另一个错误给美化了。
Failure 5 —— 教会大家怎么过检查。Goodhart 最初的论断——1975 年关于货币总量,1984 年再版——指出:一旦某个统计规律被用作控制目标,它就会失效;大家常引用的简明口号,是 Marilyn Strathern 1997 年对英国高校审计的表述。两者都在付费墙后,这里仅作描述不做引用。到了智能体层面,这一现象已有实测:上个月的污染分类法(arXiv:2608.29463)按每种污染能攻破的缓解措施分型,五类污染里只有第一类能靠私有测试集防住。你的黄金集只要被人提前看过再写 agent,当天就会染上同样的病。
答 案。 Q1:κ ≈ 0.58 —— 79% 的一致率其实不高,因为扔硬币也能白嫖到约 50%。Q2:kappa 在完整的 100 项上升到 0.780(在本集余下部分报告的 80 个 held-out 项上为 0.726),并且50/100项在顺序交换后判决发生了变化:一半的评分结果其实是由出场顺序决定的。Q3:pass@8(0.99)> pass@1(0.57)> pass^8(0.03)。Q4:pass^k,差距非常大——它是 k 次判决的 AND,所以单向偏差会叠加,而不会被平均掉。一个有长度偏置的评分器会把 pass^8 读成 0.240,而真实值其实是 0.030。
笔记本
06_eval_truth_function.ipynb· Colab 免费版 ·无需 API key· 只用标准库 · 随机种子设定于SEED=20260911· 约 2 秒 CPU · 所有 cell 均在发布前实际运行。gist 也收录了这两个项目:gist.github.com/wjlgatech/752a9450…
共九个 cell。值得一跑的设计点:评分器输出的是score,而不是 verdict,所有偏差都作为可加的偏移量。这不是教学简化——这样每个修正都能溯源,因为你能命名的偏移量就能被抵消、能检查剩余误差。
- Cohen's kappa,在两个已知答案的输入上校验:identity(1.000)和独立硬币(−0.046,原始一致率 47.7%)。
- 黄金集:100 个带隐藏质量属性的项目,有人工标签,且有两个与质量无关的属性——长度和位置人为构造.
- 评分器:位置偏置 ±0.30,冗长偏置 ±0.12,噪声 ±0.08。naive verdictκ 0.576,pass rate 为 0.720,对应黄金集 0.510。
- 顺序交换重判。 两种顺序各自打分后取平均:偏移量一正一负,正好完全抵消。 100 个样本中有 50 个 在顺序互换后判决发生翻转;κ 提升到全 100 项的 0.780(80 个留出项为 0.726),而冗长偏置刻意未动——剩下的残差正好说明修正下刀精准。
- 校准集 ——20 个人工标注的样本,不用于训练,只用来在黄金标签固定时估算长度偏移:+0.259,真实值为 +0.240。
- 同一批 80 个留出样本下的三种评测模式,已加闸门。
- pass@k 与 pass^k,k = 1、2、4、8——共 100 个任务,每个跑 8 次。
- 两类误差的叠加:同一批轨迹分别由无偏、带偏和校准后的评分器打分。
- Goodhart 单元格:永远 PASS 的评分器,以及第 1 集的
{}agent 最终登场。
[EVIDENCE] 本集后文依赖的两张表,均为实际运行结果:
held-out items: 80 (the 20 calibration items are excluded)
judge kappa agree measured pass
naive, one pass 0.585 64/80 0.738
+ swapped position 0.726 69/80 0.475
+ calibration set 0.899 76/80 0.537
golden labels (truth) 1.000 80/80 0.537
gate kappa >= 0.60: naive, one pass FAIL (0.585)
gate kappa >= 0.60: + swapped position PASS (0.726)
gate kappa >= 0.60: + calibration set PASS (0.899)
100 tasks, k=8 trials each, per-task success probability drawn in [0.25, 0.95]
k pass@k pass^k gap
1 0.570 0.570 0.000
2 0.750 0.360 0.390
4 0.900 0.120 0.780
8 0.990 0.030 0.960
两步操作,不改评分器,κ 从0.585 提升到 0.899。下方:同一个 agent,同样 800 次运行,仅因报告规则不同,分别报为 0.990 或 0.030。两者都没错,只有一个反映了真实用户的体验。
[DESIGN] 为什么用 stub 而不是在线模型?模拟器能在几秒内、免费、无需 key,复现误差是如何引入、又如何被消除的。但它不会 复现具体数值:它输出的任何数字都不能作为 Zheng 等人 80% 一致率或 τ-bench 的 pass^8 低于 25% 的证据,这些都是真实系统测得、只能引用论文。桥很短——只需把judge_score() 换成任一 OpenAI 兼容接口的调用,其余代码无需更改,因为测量代码并不关心目标是什么。
项目
两个项目,从零搭建——只用标准库。两者都在本节写作前实际跑过,所以每一个数字都是实测,不是预测。
项目一——真实生活:the-report-card
p1_report_card.py · python3 p1_report_card.py
一个习惯打卡应用每天写一行,评分器读一遍,判断你这天是否坚持了习惯。我手动标注了 60 天。问题不是我的 agent 有多厉害——而是那个告诉我我的 agent 有多靠谱的评分器到底靠不靠谱.
the-report-card - grading the grader of a habit tracker
golden set : 60 days labelled by hand
calibration : 10 days re-read, 50 days graded
note-length offset: estimated +0.284, true +0.320
grader kappa gate measured streak
before calibration 0.572 FAIL 0.680
+ swapped batch order 0.797 PASS 0.400
+ 10-day calibration 0.960 PASS 0.440
my own labels 1.000 — 0.460
[EVIDENCE]应用告诉我,我坚持了68%天。我实际坚持了46%天。它把天数搞错了,而且错得正合我意,所以我一直没去查。我一直在为自己“坚持”的好成绩自我表扬,结果只是个顺眼的四舍五入误差。
这两个偏差,换上居家版外衣,其实就是 Zheng 等人论文里的那一套。打卡列表总是新的一条在最上面,所以同样的记录在一批里排在顶部得分更高:位置偏差。如果一条记录里带了数字——比如“跑了 5.2 公里”——看起来就比“去跑步了”更靠谱,哪怕两条都可能是编的:啰嗦偏差。我手动重读了十天,估算第二种偏差是 +0.284,真实值是 +0.320。
项目二——企业场景:the-audit-bench
p2_audit_bench.py · make report · make gate · make negative
一个支持工单解决 agent,针对 120 张由人工写下结果的工单打分:24 张用于校准,96 张实际评测。harness工程不会盲信评分器——它会先测评分器本身,公开分数,只要评分器不达标或有未测项目被算作通过,就让构建直接失败。
kappa, single pass, raw : 0.455 <- what a one-shot judge gives you
kappa, calibration, before: 0.577 <- FAILS the 0.60 gate
kappa, calibration, after : 1.000 on the 22 of 24 calibration tickets the harness could measure
measured / unmeasured : 80 / 16 (coverage 0.833)
order-dependent 14
inside the uncertainty band 2
pass rate, measured only : 0.500
pass rate, if UNMEASURED were counted as passes: 0.583 <- the number the gate refuses
gate
PASS kappa on the calibration set >= 0.60 1.000
PASS coverage >= 0.70 0.833 (80/96 measured)
PASS no UNMEASURED item is counted as a pass 0 leaked
=> green
[EVIDENCE]把0.500和0.583并排看。80 张 harness 能测的工单,真实通过率是 0.500;如果把 16 张无法判定的工单悄悄算作通过,就变成了 0.583。8.3 个百分点的差距,任何没实现“三态”的系统都能白嫖——不用撒谎,只要用一个世界其实有三种状态的二值类型就行。
make gateexit 0。make negative重新引入缺陷并要求 exit 1:
gate (negative test: unmeasured items deliberately counted as passes)
FAIL no UNMEASURED item is counted as a pass 16 leaked, first: TCK-1029, TCK-1034, TCK-1035
=> RED # exit 1
一个从没亮过红灯的 gate,和没有 gate 没区别——这是我在另一个季踩过的坑,现在装进了一个主题就是“不信评分器”的评测台里。
30分钟搭建——工程化约定
所有审核台所需内容,完全按工程师的提问顺序交付。输入:N条由人工标注结果的项目。输出:严格只返回其中之一 PASS · FAIL · UNMEASURED。不变式:没有证据就代表未测量,绝不算通过。终止规则:闸门未通过即直接终止构建流程,不做重试。
GOLDEN = [(item, human_label), ...] # a human wrote these, not the model
CAL, TEST = GOLDEN[:24], GOLDEN[24:] # calibration is HELD OUT of the score
def verdict(item, offset):
a = judge(item, candidate_first=True) # score, not a verdict
b = judge(item, candidate_first=False) # the SAME item, other order
a, b = a - bias(item, offset), b - bias(item, offset)
if (a >= T) != (b >= T): return UNMEASURED, "order-dependent"
if abs((a+b)/2 - T) < BAND: return UNMEASURED, "inside the band"
return (PASS if (a+b)/2 >= T else FAIL), "two orders agreed"
offset = mean(score | long, label=g) - mean(score | short, label=g) # over CAL, per g
# CI gate (make gate)
# kappa(verdicts, human_labels) on CAL >= 0.60 else UNCALIBRATED
# coverage = measured / graded >= 0.70 else vacuously green
# UNMEASURED items counted as passes == 0 (make negative proves it bites)
# any line below threshold -> exit 1 -> the build fails
有意缺省:未接入 live model(可将 judge() 替换为任意 endpoint),未提供每条理由解释,也没有引入第三个评分器来打破平票。最后这一点是有意为之,不是疏忽——平票本身就是信息。这意味着评分器无法判定该条目,UNMEASURED 就是如实记录。强行决出胜负只会把“已知的未知”变成“未知的已知”,反而更糟。
[DESIGN] 四个特性让它具备企业级产品的骨架,而不是演示用的小玩具:
- 校准样本不计入分数。 只在自己打分的项目上调参的评分器没有留出集——正是 Kapoor 等人指出的缺陷。24条校准工单永远不会进入通过率统计。
- 覆盖率有门槛,不只是报个数。 没有下限,harness工程可以随意声明任意高的 kappa——只要把几乎所有条目标为“不可测”,闸门就能永远绿灯。
- 第三种状态是类型,不是约定。
UNMEASURED和PASS一样,都由同一个函数返回,这样任何调用方都不会忘记它的存在。约定会被遗忘,类型不会。
[OPEN] 两个项目都没有证明什么。两个 golden set 都是合成的,两个评分器也都是 stub。审核台的 kappa 1.000 只是在 22 条样本上——这是不确定性区间在发挥作用,不是评分器完美,n=22 时它分不清 优秀 和 运气好。这正是本季两次警告过的“无范围”1.000,出现在我自己的实验结果里。真实状态:可运行且已加闸门,而是可运行、已加闸门,但尚未上线、实测。要让它真正落地:用真实队列里的工单和实际处理结果来测评,并且还需要第二位人工标注者,这样人类之间的 kappa 就成了上限,而不是默认的 1.000。
同一个故事,五种出场方式
一条主线,每位读者一扇门。做一个决策,采取一个行动。
| 如果你是 | 本集希望你改变的决策 | 本周你可以做的一件事 |
|---|---|---|
| 高中生开发者 | “The eval passed” 这句话本身不是事实,除非你能说清是谁打的分、判了多少次才成立。 | 跑一遍 Colab 实验(2 秒,无需 key),然后手动标注任意聊天机器人 20 个回答,对比它自评分数,算出 kappa。 |
| AI 工程师 | 你的智能体准确率上限受限于评分器和你的标注一致度,而你的评分器目前还没被实测。 | 手动标注 20 个样本,测 kappa,并把上面合约里的闸门加进一个 CI 任务。 |
| 创业者 | 一个基准分数其实是三件事披着一件外套;好看的那件免费,诚实的那件要靠黄金集换来。 | 让团队在核心流程里把 pass^k 和 pass@k 并排报出来。如果没人有 k,这本身就是结论。 |
| 企业高管 | 可靠性就是审计问题:有多少条目被实测,标签是谁写的? | 下次质量评审时,把“覆盖率和标注员一致性”加到准确率旁边一起看。 |
| 投资人 | 护城河是黄金集和校准过的评分器,不是团队租的模型,也不是买来的排行榜分数。 | 去问任何一家智能体创业公司:有没有把评分器与人工标签的 kappa 和 pass^k 并排报告?只报其中一个,缺了另一个,那就是在做表面功夫。 |
现实实操
二十分钟,用你手头正在运行的东西来做。
- 挑一个你真正依赖的 AI 输出:摘要器、路由器、代码审查工具、习惯打卡器,任选其一。
- 收集 20 个真实输出,先自己手动标注,在你看到系统自评分数之前。只需判定通过或未通过。
- 再拿系统对这 20 个的判定结果,计算一次 Cohen's kappa —— notebook 第 1 个 cell,六行算式就够。
- 数一数这 20 个里有多少你自己都无法有把握标注的。这就是你的覆盖率问题。
- 如果你的评分器是模型,把 5 个样本换顺序各给它看一遍,数一数有几个判定翻转。在我的实验里,100 个里有 50 个翻了。
如果第二步就卡住了,你其实已经学到了最关键的事:你的团队根本没有一个能经得起真人检验的“正确”定义,剩下五层做得再好也补不上这个窟窿。正确,剩下五层做得再多也补不上。
研究挑战
把这题交给智能体,先把你的预测预注册下来。
选一个输出结果可核查的任务类型,构建一份 100 条的黄金集,由两个人独立标注。报告:人-人 kappa(作为上限);模型评分器与每个人的 kappa;再分别报告(a)换顺序重判、(b)20 条校准修正、(c)两者叠加下的 kappa 变化。再分别报告 k=1,2,4,8 下,人类标签和模型评分器下的 pass@k 与 pass^k,以及每条评分的成本。
预注册:评分器对人的 kappa 是否超过两个人之间的 kappa,以及评分器的误差对 pass^k 的影响是否大于对 pass@k 的影响。
我的预测(写在你跑实验之前):人-人 kappa 会是硬上限,而且比大家想象的要低;评分器的偏差会让 pass^k 偏离数倍,但对 pass@k 几乎没影响。如果结果反过来,那就是一篇值得发表的分歧,不是你实验 setup 的 bug。
最新进展
本层截至发稿时的最新进展,来自每周一次、覆盖 30 个先锋来源的实时同步,research-anything (make watch-sync按技术信号强度排序,绝不看受众规模。每条都从摘要页抓取,按同步日期。
同步日期:2026-09-11。
- arXiv:2609.11067 (2026-09-10) — 当噪声制造偏见。 在3,822条与刻板印象相关的回复中,五种噪声条件下:拼写错误和断裂标点让中性社会偏见判断变为有偏见的概率,远高于反向情况,最大可达120倍。写作时距发表仅一天,这让本期主题更进一步——连你用来测量偏见的工具本身也带有误差。
- arXiv:2608.29463 (2026-08-29) — 基准污染:按被攻破的缓解措施分类的分类法。 五类污染类型,按各自能攻破的缓解措施分类;私有保留集只能防住第一类。两位外部标注员用该工具标注了41份文档,按变量加权的kappa在0.00到0.35之间——这是一篇足够坦诚地公布自身低标注一致性的测量论文。
- arXiv:2608.26623 (2026-08-27) — AgentJudgeBench。 3,808个实例,六个judge从20B到前沿规模。任务越难,alignment下降越快,无ground truth时下降速度提升1.5倍;在高难度且无ground truth的问题上,六个judge无论规模都收敛到77–82%区间。结构化rubric最多提升6.5分;chain-of-thought和judge温度基本无效。
- arXiv:2608.24314 (2026-08-25) — 面向语音智能体评测的LLM Judge基准。 同一批交互在三种评测配置下:judge的可靠性其实取决于具体的metric和配置,而不是judge本身的属性。校准的论证,来自电信行业。
- 超出统计窗口一天,仍然列出:arXiv:2608.11434 (2026-08-11) — MobileJudgeBench,931条人工标注的轨迹:一个简单的基线judge往往胜过专门定制的pipeline。
[开放问题] 还有哪些尚未取得进展:我没有找到任何公开文献衡量校准过的judge会对已部署系统的实际结果带来多大影响。上述所有结果都只测judge与标签的关系,从未涉及judge出错后实际带来的后果。这正是本期Research Challenge所指向的空白,我在文献中也无法补上。
出场测试
请勿翻页。
- 请按顺序写出六个台阶,并说明为什么前五集第六个台阶一直未命名。
- 你的评分器和你自己的标注有 79/100 一致。为什么这还不够?你真正需要的数字是什么?
- 一个报告出来的基准分数,其实是关于哪三件事的联合事实?而你通常只会看到哪一个?
- 为什么评分器的单向偏差对 pass^k 的影响比 pass@k 更大?
- 如果有一个你的评分器无法判定的项目:它应该被记录成什么?如果用其他方式记录,会出什么问题?
- 举例一个能最大化你报告的某个指标的退化输入,再说出能让它失效的第二个指标。
悬念——也是本季的收官
你亲手建立了黄金集,并在周日一项项完成标注。你的评分器回来了,kappa 达到 0.899,轻松过闸门。你把评测台接入 CI,看到负例测试先变红、再变绿。那天下午,你一度以为自己已经彻底搞定了这间厨房——而这,正是本季每次“出事”前的经典前奏。
然后有人问了一个你的六层体系完全答不上来的问题:这个 agent 到底应不应该被允许做这件事?
不是“它做得对不对”——前面每一层都能回答这个问题。真正的问题是,这个行为是否被允许。由谁授权,依据什么规则,记录在哪里。你的 kappa 再高也无能为力,因为校准过的评分器只能告诉你答案和标签是否一致,却完全无法判断标签本身是不是应该成为目标。
这是一道分界线,不是新的一层——是“下一个是什么”的问题,而不是下一个分集。治理是评估工程之后最有力的候选:谁能修改黄金集,闸门被越权时谁签字,agent 行动时审计链如何留痕;其次是经济学,再是组织架构。这些都可能成为未来某季的主题,依照本季第一集的做法:先登记在案,后续再论,绝不提前承诺。
本季真正的收尾更精炼。六层,每层一句,结构始终如一:prompt 是规范,context 是预算,harness 是信封,loop 是裁判,graph 是排班,而evaluation 是真值函数。没有哪一层是魔法。六层都是你要写下来的东西——而最后这一层,是唯一能告诉你前五层值不值得写的。下次就从这里开始。这是大家最后才会补齐的一层,也是所有东西都站在上面的那一层。
延伸阅读
第6集智能工程冒险记·第七季——厨房阶梯,本季终章。系列正文里的每条主张都按类别标注——定义、推导、证据、工程选择、开放问题——比喻可以用来引入观点,但永远不能当作证据。每集都配有一个 Colab 笔记本(免费运行,无需 API key),以及两个从零搭建的应用——一个面向个人,一个面向企业。五级阶梯出自 Feng 等人(arXiv:2608.21156),并非我自创;第六级首次在此命名,缘起于 2026-09-05 一位外部评审的建议,第一集也已将其记为开放候选。「what moved」部分基于30个先锋来源的每周实时同步,只按技术信号排序,从不看受众覆盖面。本文不含任何雇主或客户的内容。——Paul Jialiang Wu ·futuremake.io
参考文献
- Kapoor, S., Stroebl, B., Siegel, Z. S., Nadgir, N., Narayanan, A. (2024)。AI Agents That Matter. arXiv:2407.01502,2024-07-01 提交。——直接引用自 arXiv 摘要页(2026-09-11 阅读):对准确率的狭隘关注、基准测试需求混淆,以及留出集不足。
- Zheng, L., Chiang, W.-L., Sheng, Y. 等(2023)。Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685,v4 2023-12-24 修订。——直接引用自 arXiv 摘要页:三类命名偏差和超过80%一致率的数据。
- Yao, S., Shinn, N., Razavi, P., Narasimhan, K. (2024)。τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv:2406.12045,2024-06-17 提交。——直接引用自 arXiv 摘要页:pass^k,以及零售场景下 pass^8 低于25%。
- Liang, P., Bommasani, R., Lee, T. 等(2022)。Holistic Evaluation of Language Models. arXiv:2211.09110,v2 修订于 2023-10-01。—— 摘要用于 17.9% → 96.0% 场景覆盖率和七项指标。
- Chang, Y., Wang, X., Wang, J. 等(2023)。A Survey on Evaluation of Large Language Models. arXiv:2307.03109,v9 修订于 2023-12-29。—— 摘要用于 what/where/how 框架和“evaluation as a discipline”论点。
- Jimenez, C. E., Yang, J., Wettig, A. 等(2023)。SWE-bench: Can Language Models Resolve Real-World GitHub Issues? arXiv:2310.06770,v3 修订于 2024-11-11。—— 摘要用于 2,294 项任务和 1.96% 的数据。
- Husain, H.(2024-03-29)。Your AI Product Needs Evals. hamel.dev/blog/posts/evals/。—— 引自线上原文(2026-09-11 阅读):不成功的 LLM 产品“almost always share a common root cause: a failure to create robust evaluation systems”(中译:几乎总有一个共同根源:未能建立健全的评估系统)。
- Anthropic(2026-01-09)。Demystifying evals for AI agents. anthropic.com/engineering。—— 引自线上原文:eval 的定义,以及自动化 eval 在 CI/CD 中的作用。
- OpenAI。Evals. github.com/openai/evals。—— 2026-09-11 仓库查阅;仅作描述,未直接引用。
- Angulo, J., Yeste, V., Espinos-Morato, H.(2026)。Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation. arXiv:2608.29463,发表于 2026-08-29。—— arXiv 摘要页原文引用:「Leaderboards publish the model and the score, so capability and leakage stay observationally equivalent」(中译:排行榜只公布模型和分数,因此能力和泄漏在观测上无法区分)。
- Verma, A., Saha, A. K., Subramanian, S., Aluru, S. H.(2026)。AgentJudgeBench:用于评估智能体化工具调用中 LLM 评分器的多难度基准。 arXiv:2608.26623,发表于 2026-08-27。—— 摘要阅读,关注 77–82% 区间和评分标准(rubric)效应。
- Purwar, A., Singh, S., Srivastava, K.(2026)。用于语音智能体评测的 LLM 评分器基准:可靠性、校准与人工监督。 arXiv:2608.24314,发表于 2026-08-25。—— 摘要阅读。
- Ryu, D., Lee, J., Hwang, Y., Bak, J.(2026)。当噪声制造偏见:LLM 评分器偏见测量在噪声文本下的脆弱性。 arXiv:2609.11067,发表于 2026-09-10。—— 摘要阅读,关注 120× 非对称性。
- Wang, Z., Gu, L., Chi, Z. 等(2026)。用于移动智能体评测的 LLM 评分器基准。 arXiv:2608.11434,发表于 2026-08-11。—— 摘要阅读;比本期「what moved」窗口晚一天,特此标注。
- Goodhart, C. A. E.(1984)。货币管理的问题:英国经验。 载于 Monetary Theory and Practice,Palgrave,伦敦。link.springer.com。—— 1975 年论文重印版;因付费墙,仅作描述,未作引用。
- Strathern, M. (1997). “提升评分”:英国大学体系的审计。 European Review 5(3), 305–321. doi:10.1017/S1062798700002660。—— 这句通常归因于 Goodhart 的口号即出自此文;因付费墙未直接引用,仅作描述。
- Landis, J. R., Koch, G. G. (1977). 类别数据观察者一致性测量。 Biometrics 33(1), 159–174. doi:10.2307/2529310。—— 常用 kappa 区间的来源;因付费墙未直接引用,仅作描述。
- Feng, Y., Xiang, Z., Yang, C., Ma, Q. (2026). LLM Agent 时代的图工程:从个体智能到系统智能。 arXiv:2608.21156v2,2026-08-26 修订。—— 本季五阶梯原文,被本季扩展为六阶梯。
- Dhage, S. (2026). 可预测智能体系统的 harness工程。 arXiv:2608.26197,2026-08-25。—— 第一集的核心测量,本文引用于空答案 determinism 读数 1.000。
- Wu, P. J. (2026-08-06). 一人十帽的观点。 futuremake.io。—— 本人已发表作品:panel 就是评分函数,评分函数要么校准于外部基准,要么被标记为未校准。
- Wu, P. J. (2026-08-21). 无法失败的评分表。 futuremake.io—— 我自己的公开作品:23 分满分其实是个 bug,用更苛刻的标准才得出真实的 25/28。
- Wu, P. J.(2026-07-23)。验证你的验证者。 futuremake.io—— 我自己的公开作品:本集所用的 harness工程 不变式就出自这里——只有当引用能溯源、证据能支撑所声称的强度时,结论才算被验证,否则就降级为未证实。
- Wu, P. J.(2026-09-11)。Lab 06 —— 真值函数:评分器漂移与 pass^k,含
the-report-card和the-audit-bench. gist.github.com/wjlgatech/752a9450…—— Notebook 和 Projects 两节中的所有数字,均来自这些在 2026-09-11 实测的结果。