私の論文を却下したフィルター

1. 古典を崇めるな、測れ

誰もがBitcoinホワイトペーパーとAttention Is All You Needを模範として引用する。だが実際に測る者はほとんどいない。2分間のpdftotextが、崇拝よりましなものを与えてくれる：

私のお気に入りの仮説は、この表の上で崩れた。「古典は流行りのプレプリントではなく、古く確立された研究の上に築かれる」は、Bitcoinには完璧に当てはまるし、実際のビブリオメトリクス研究にも裏付けられているし、流行を追うより第一原理を好む人間には都合がいい。だがそれは同時に、その時代で最も引用されたAI論文さえ却下していたことになる。参考文献の年代が測っているのは、その分野がどれだけ速く動いているかであって、論文の良し悪しではない。

一つの例に当てはまるヒューリスティックは、単なる偶然にすぎない。

実際に持ちこたえたのは「引き算」だった。Bitcoinは信頼できる第三者を取り除く。Attentionは 再帰と畳み込みを取り除く——タイトルそのものが主張になっている。どちらも部品を足すのではなく、一つを削り取り、その削除が成り立つことを示している。だからこそ後続の研究は、それらを引用元と並べて引用するのではなく、その引用元の代わりとして引用する——これこそ書誌計量学者がdisruptionと呼ぶ現象にほかならない。

2. そして十二の古典が、このフィルターを監査した

BitcoinとAttention、この二例では偶然を見抜くには十分でも、法則を打ち立てるには足りない。そこで私はさらに十本を加え、同じ方法で測定した。分野は八つにまたがる——Shannon、Turing、Einstein、Diffie–Hellman、Codd、Kahneman & Tversky、McCulloch & Pitts、AlexNet、Nash、Watson & Crick。

すべての事例で生き残った基準は三つ、八分野すべてで失敗ゼロ、という結果だった。具体的な未解決問題を名指ししているか、見知らぬ他人が実行できる仕組みを手渡しているか、何をもって反証とするかを述べているか。物理学から生物学、行動経済学まで共通していた。

そして「引き算」というテーゼはさらに強固になった——最も偉大な論文のうち三本が、まさにその除去を自らの言葉で述べているのだ。

"The introduction of a 'luminiferous ether' will prove to be superfluous." — Einstein, 1905（訳：「『発光エーテル』の導入は、余計なものであることが判明するだろう」——Einstein、1905年）

"These semantic aspects of communication are irrelevant to the engineering problem." — Shannon, 1948（訳：「コミュニケーションのこうした意味論的側面は、工学上の問題とは無関係である」——Shannon、1948年）

"there can be no general process for determining whether a given formula … is provable" — Turing, 1936（訳：「与えられた式が……証明可能かどうかを判定する一般的な手続きは存在しえない」——Turing、1936年）

そして、ここからが高くついた部分だ。私の基準の一つは、重要論文は短くあるべきだ——7,000語未満であるべきだ、としていた。この基準は十二本中八本で不合格になった。Shannonの論文は29,445語で、上限の四倍以上。Turing、Einstein、Diffie–Hellman、Codd、Kahneman & Tverskyも、ことごとくこの上限を突破していた。

ShannonとTuringとEinsteinを弾いてしまう基準は、質の基準とは呼べない。それは、たった二例の平均値にすぎなかったのだ。

私はそれを削除し、なぜ削除したかを記録した。こっそり復活しないように。そして二つ目の基準は降格となった。減算はもはや必須要件ではない。AlexNetのアブストラクトは純粋に加算的だ——「従来の最高水準を大きく上回る」。手作り特徴量が滅びたのは、この論文の結果としてであって、その主張としてではなかった。減算はある論文がどうフレーミングされているかを測るものであり、置き換えはそれが何を置き換えるかを測るものだ。必須にできるのは後者だけだ。そうでなければ、このフィルターは、謙虚な書き方をしたというだけの理由で、この十年で最も影響力のあった視覚論文を弾いてしまうことになる。

最悪の発見は、基準についてではなく、計測器そのものについてだった。フィルターは、内部で八本の古典が不合格になっていながら、クリーンパスと報告していたのだ。フィルターは基準を下回った対象だけを表示する仕組みだったため、壊れた基準はずっと見えないままだった。コーパス全体を監査できないフィルターとは、検証しているのではなく、ただ信頼しているだけのものだ。

3. Before：NOT YET（まだ早い）

基準を修復したうえで、フィルターを自分自身のプレプリントに向けてみたところ、そのプレプリントは却下された。

NOT YET   omi-v0.1: 4/5
  ✗ substitution-test: `displaces` is empty — name the work later papers
    would cite this INSTEAD OF, or accept that this joins a literature
    rather than redirecting it

診断は的確だった。私の論文は自分自身の原則をチェックへとコンパイルしたものだ。それは単なる一事例にすぎない。手法は、著者自身が書いていない仕様を拘束してこそ成り立つ。そして私は、それを一度も試したことがなかった。

4. After：検証される気などまったくなかった文書と、手法が出会うとき

そこで私は、自分がまったく関与していない、実在する公開のコミットメント文書を2つコンパイルしてみた。1つ目は OECD AI Principles（OECDのAI原則） ——現存するAI価値観テキストの中で最も広く採用されているものだ。すべての条項に 同じ問いを立てた。第三者が観測可能な形で失敗しうると名指しているかfailing（失敗）?

10条項のうち4つがそれに該当した。残りの6つは、書かれ方からして失敗しようがない——測定結果がその理由を示している。 原則1.1〜1.5の592語の中に「must」はゼロ、「shall」はゼロ、「should」は11回——さらに12個の逃げ道的修飾語が使われている。「appropriate to the context（文脈に応じて）」が3回、「consistent with the state of the art（最新技術水準に沿って）」が3回、「where technically feasible（技術的に実現可能な場合）」、「as appropriate（適宜）」。

これはOECDへの批判ではない。 この文書は各国政府向けの勧告であり、設計上拘束力を持たず、コンセンサス方式で合意されたものだ——私がいま測っている基準を、この文書自身が課したことは一度もない。だからこそこれは公正なテストになる。ゲート審査を受けるつもりなど最初からない文書に対してこの手法が何か有用なことを言えるなら、その手法はきちんと仕事をしていることになる。

対照として、Anthropic's Responsible Scaling Policy（責任あるスケーリング方針、以下RSP）もコンパイルしてみたところ、スコアは5点中4点だった——この文書が検証可能であることを自ら選び取ったからだ。「must」が14回、「will」が130回、そして名指しされた閾値を伴うif-then構造。しかも、その正直な限界は脚注ではなくチェックによって強制されている。50%を超えるスコアを取った文書は、良いスコアが証明しないことを明記しなければならない、という具合だ。とはいえ、RSPのすべての閾値は、それに拘束される当の企業自身が設定し、判定している。検証可能な文章は、外部からの強制とは別物だ。

論文を通すために基準を変えたことは何もない。

この違いこそが要点だ。自分のフィルターを所有することにおける安易な失敗とは、それと交渉してしまうことにほかならない。基準は動かなかった。動いたのは対象物のほうだ。

5. 最良の結果は、代償を伴うものだった

他人の仕様書をコンパイルしたことで見つかったのが、自分のフレームワークに欠けていた二つのチェックだ。OECDは「システムが安全にオーバーライド・修理・および／または廃止できること」を求めているが、私にはそのためのゲートがない。私のフィルターがテストするのはデータ退出であって、システムのオーバーライドではない。Anthropicは定期的な能力テストを約束しているが、私にはテストの頻度をリリースに結びつける規定が何もない。

自分自身のマニフェストをコンパイルしても、この二つは決して表面化しなかっただろう。自分の答えを読み返すだけでは、思いつきもしなかった問いは見つからない。

私はそれらのギャップを実装しなかった。チェックする対象が何も宣言されていないために通過してしまうゲートは、 空虚なパスであり、私自身のルールはそれを禁じている。それらは名前を与えられ、所有者が定められ、v0.3の日付が付され、発見されたギャップに所有者がいない場合は今やチェックが失敗するようになっている——つまり、静かに期限切れになるメモではなく、実際の作業なのだ。

6. 監査官を監査する必要もあった

私は、別のリポジトリにある独立した主張検証ツールをこの論文に向けてみた。すると次のような結果が返ってきた。 "NOT READY — 14 over-claims."（訳：準備未了——過剰主張14件）驚いたが、中身を読んでみればわかる話だった——LaTeXの表のプリアンブル、参考文献のエントリ、そして極めつけは、論文自身のLimitations（限界）セクションが、正直に自らを限定していることを理由に過剰主張としてフラグされていたのだ。

14件中、本物だったのはちょうど1件だけだった（迎合性〈sycophancy〉に関する文献の、出典未記載の特徴づけ）。そのツール自身のREADMEは、抽出器が攻撃的であると警告していた。私のプレイブックにあるあらゆるスーパーツールは今や、 自分自身で測定した限界を伴っている。限界を測定していないツールは、かえって権威をもって論文を悪化させるからだ。