这个过滤器，连我自己的论文都不放过

1. 度量经典之作，而非仰望它们

人人都把比特币白皮书和 Attention Is All You Need 奉为典范，但几乎没人 真正度量过它们。花两分钟做个测量pdftotext，得到的东西比敬意更管用：

我最偏爱的一个假设，死在了这张表上。 「经典之作建立在陈旧、已成定论的工作之上，而非追逐时髦的预印本」这句话套在比特币身上正合适，也有真实的文献计量学研究支撑，还顺带恭维了所有偏爱第一性原理、不追热点的人。可它同样会把那个时代被引用最多的 AI 论文拒之门外。 参考文献的新旧，衡量的是一个领域走得多快，而不是一篇 论文有多好。

只符合一个例子的经验法则，不过是巧合罢了。

真正站得住脚的，是减法。比特币去掉了可信第三方；Attention 去掉了循环与卷积——标题本身就是论点。两篇论文都不是加了什么部件，而是删掉一个部件，并证明删掉之后依然成立。也正因如此，后来的研究引用它们时，是取代了它们的前身，而不是与其并列引用——这恰恰是文献计量学家所说的「颠覆性」。

2. 接着，十二篇经典论文反过来审查了这套过滤器

两个例子足以抓出巧合，却不足以确立规则。于是我又加了十篇，用同样的方法测量，横跨八个领域——Shannon、Turing、Einstein、Diffie–Hellman、Codd、 Kahneman & Tversky、McCulloch & Pitts、AlexNet、Nash、Watson & Crick。

有三条标准在所有论文上都站住了脚，八个领域，零失败：是否指明了一个具体的未解决问题，是否交出了一个陌生人也能照做的机制，以及是否说明了什么样的结果会证明它错了。从物理学到生物学，再到行为经济学，概莫能外。

而「减法」这一论点也变得更加有力——三篇最伟大的论文都亲口道出了这种删除：

"The introduction of a 'luminiferous ether' will prove to be superfluous." — Einstein, 1905（中译：“引入‘发光以太’这一概念，将被证明是多余的。”——Einstein，1905）

"These semantic aspects of communication are irrelevant to the engineering problem." — Shannon, 1948（中译：“通信的这些语义层面，与工程问题无关。”——Shannon，1948）

"there can be no general process for determining whether a given formula … is provable" — Turing, 1936（中译：“不存在一种通用的方法，可以判定某一给定公式……是否可证。”——Turing，1936）

然后是代价高昂的部分。我的一条标准规定：重量级论文应当简短——不超过7,000字。 结果它刷掉了十二篇中的八篇。Shannon 的论文有29,445字，超出上限四倍还多。Turing、Einstein、Diffie–Hellman、Codd 和 Kahneman & Tversky 全部超标。

一条连 Shannon、Turing 和 Einstein 都要拒绝的规则，算不上质量门槛。它不过是一个样本量为二的平均数罢了。

我删掉了它，并记录下原因，好让它不会悄悄溜回来。第二条标准则被降级： 不再要求做减法。 AlexNet 的摘要纯粹是加法式的——“considerably better than the previous state-of-the-art.”（中译：远优于此前的最先进水平。）手工设计的特征，是那篇论文带来的后果才消亡的，从来不是论文本身的主张。减法衡量的是一篇论文如何自我表述；替代衡量的则是它取代了什么。只有后者能被强制要求，否则这个过滤器会因为「写得谦虚」，把这十年间最具影响力的视觉论文拒之门外。

最糟糕的发现关乎这套工具本身，而不是标准条款：过滤器报告一切通过，实际上却有八篇经典论文在内部未达标。它只打印低于门槛的条目，于是一条失灵的标准就此隐身。一个你无法在全部语料上审计的过滤器，你只是在信任它，而非在检验它。

3. 之前：还不行

标准修复之后，我把这套过滤器对准了自己的预印本——结果它被拒了：

NOT YET   omi-v0.1: 4/5
  ✗ substitution-test: `displaces` is empty — name the work later papers
    would cite this INSTEAD OF, or accept that this joins a literature
    rather than redirecting it

诊断精准无误：我的论文，是把自己的原则编译成了检查项。这是一个实例 。方法本该约束的，是作者本人不曾写下的规范，而这件事，我从未真正做过。

4. 之后：这个方法遇上了一份从不打算被检验的文件

于是我编译了两份跟我毫无关系的真实公开承诺文件。第一份是 OECD AI Principles——现存被采纳最广泛的 AI 价值观文本。每一条都要回答同一个问题：这句话有没有指出一种第三方能够观察到的 failing（失败状态）?

十条里有四条做到了。另外六条，按其文字表述，根本无法判定失败，测量结果说明了原因。principles 1.1–1.5 全文 592 个词中，「必须（must）」出现零次，「应当（shall）」出现零次，「应该（should）」出现十一次——外加十二个留有余地的限定词：「appropriate to the context（视情境而定）」出现三次，「consistent with the state of the art（与当前技术水平相符）」出现三次，「where technically feasible（在技术可行的情况下）」出现一次，「as appropriate（视需要而定）」出现一次。

这不是在批评 OECD——它的文件本就是写给各国政府的建议书，按设计就是非约束性的，靠共识达成，它从未给自己设下我正在用来衡量它的这道门槛。而这恰恰是公平的地方：如果这套方法能对一份压根无意接受闸门检验的文件说出点有价值的东西，那就证明这套方法确实管用。

作为对照，我编译了 Anthropic 的 Responsible Scaling Policy（下称 RSP，负责任扩展政策），五项标准里它拿到了四项——因为它本就选择让自己可被检验：「必须（must）」出现 14 次，「将会（will）」出现 130 次，还有带具名阈值的「若……则……」结构。它的诚实边界也不是靠一条脚注，而是靠一项检查来强制执行的：任何得分超过 50% 的文件，都必须说明一个好分数不能证明什么。可这项政策里的每一道阈值，都是由它所约束的那家公司自定自裁。可核查的句子，不等于外部力量在强制执行。

标准没有为这篇论文做出任何改动。

这正是关键所在：拥有自己的过滤器，最容易犯的错就是和它讨价还价。 变的不是门槛，是论文。

5. 最好的结果，恰恰是让我付出代价的那个

编译别人的规范之后，我发现了我自己框架里缺失的两项检查。OECD 要求 系统「能够被安全地覆盖、修复和/或停用」——这一点我完全没有对应的闸门，我的框架 测试的是数据能否退出，而不是系统能否被覆盖。Anthropic 则承诺进行常规能力测试——而我没有任何机制 把测试节奏和发布绑在一起。

编译自己的宣言永远发现不了这些问题：把自己的答案重读一遍， 翻不出你压根没想过要问的问题。

我没有去实现它们。一个闸门能通过，只是因为根本没有任何声明指出它该检查什么领域—— 这样的通过是空洞的。我自己的规则禁止这种情况发生：这两个漏洞现在都已命名、 有人认领、标注日期为 v0.3，而且新增了一项检查——发现的漏洞一旦没人认领就会直接判定失败， 于是它成了待办事项，而不是一条悄悄过期的备注。

6. 我还得反过来审查审查者本身

我用自己另一个仓库里的独立事实核查工具，对着这篇论文跑了一遍。结果返回： "NOT READY — 14 over-claims."（中译：尚未就绪——发现十四处过度声称）吓人是吓人，直到我把这十四条一一读完：LaTeX 表格的前导代码、 参考文献条目，还有——最绝的——论文自己的「局限性」一节， 仅仅因为诚实地承认了自己的局限，便被判定为「过度声称」。

十四条里真正站得住脚的，只有一条（一处关于「谄媚（sycophancy）」现象的表述，未加引用）。 这个工具的 README 早就警告过我，它的抽取器很激进。从此，我工具箱里的每一件 超级工具，都必须带上一个我亲自测量过的边界——因为一个你没测过边界的工具， 只会带着权威，把你的论文改得更糟。