AI-Nativeシリーズ · エージェントエンジニアリング比較:プロンプト・コンテキスト・ハーネス・ループ・グラフ
評価エンジニアリングは「真理を決める関数」であり、リーダーボードそのものではない
全6回の最終回。これまでの5回は毎回「決定性1.000」「リーケージゼロ」「封筒外呼び出しゼロ」などの数字で締めくくられてきた——だが、そのすべては誰にも監査されていないグレーダーから出てきたものだ。この回は「グレーダーを評価する層」にあたり、なぜ6段目がこれまで空白だったかの理由でもある。
1分でつかめる要点——この記事で得られるもの
この記事の位置づけAIエージェントを作る6つの技法を比較してきたシリーズの最終回。プロンプトエンジニアリング(送る言葉)、コンテキストエンジニアリング(見せる情報)、ハーネスエンジニアリング(できることの枠)、ループエンジニアリング(自己修正の仕組み)、グラフエンジニアリング(複数エージェントの連携)、そして評価エンジニアリング(何を「正解」とみなすかを決める層)。今回は、2022年のHELMから先月のジャッジベンチマークまでの評価エンジニアリングの歩み、主導するプレイヤー、そして測定を生き残る原則を扱う。
なぜこれが重要なのか AIシステムについて語られるあらゆる数値——正確度、決定性、パス率、「評価がグリーン」——は、すべてグレーダーの出力である。しかし、そのグレーダー自体を測定する人はほとんどいない。今回のラボでは、あるジャッジがCohen's kappaで 0.585 を80件のホールドアウト項目の人間ラベルと比較して記録し、0.899 さらに2つの簡単な修正を加えただけでジャッジ自体は変えずに、あるエージェントの800回の実行結果が pass@8 = 0.99 か pass^8 = 0.03 と、報告ルールひとつで真逆になる。創業者にとっては指標と返金の分かれ目、エンジニアにとっては今日中に設置できるゲートだ。
この記事を読んだあとにできること 自分のエージェントの出力20件を手でラベル付けし、グレーダーがどれだけ自分と一致するかを測ってから、その評価を信用すべきか判断せよ。Colabノートブック(APIキー不要・標準ライブラリのみ)と、ゼロから作った2つのアプリが手に入る。ひとつは、グレーダーが「68%連続達成」と主張したが実際は違った習慣トラッカーのレポートカード。もうひとつは、未測定の項目をパス扱いしたときにCIゲートがビルドを落とす監査ベンチだ。
Season 7 — シリーズの背骨
- プロンプトエンジニアリング——呪文ではなく仕様 第1話
- コンテキストエンジニアリング——予算で考える、ウィンドウを広げる話ではない 第2話
- ハーネスエンジニアリング――エンベロープであってエージェントそのものではない 第3話
- ループエンジニアリング——再試行ではなく外部の判定者 第4話
- グラフエンジニアリング —— 配役ではなくスケジュール 第5話
- 評価エンジニアリング——リーダーボードではなく「正しさ」を決める関数 この回
この記事で扱う内容、そしてなぜ評価エンジニアリングが六つ目の層なのか
今シーズンでは、AIエージェントを作るための6つの分野を比較してきた。5つは最初から名前があり、年代も特定できる——プロンプト(2020年)、ループ(2022年)、グラフ(2023年)、ハーネス(2024年)、コンテキスト(2025年)。Fengら(arXiv:2608.21156)は「何を制御できるか」で順序付けている——プロンプト、コンテキスト、ハーネス、ループ、グラフ——これが今シーズンの話の順番だが、各分野の画期的な年とは一致しない。6つ目の層は、??? 第1話からずっと表の空欄として残されていた。
[DESIGN] なぜそうなっていたか、ここで一度だけ説明しておく。エピソード1が2026-09-03に公開されたとき、外部レビュアーから「開いたままの第6層は評価エンジニアリング——他のすべての層が“改善したか”を判断するために頼る真偽判定の仕組みであり、その背後にはガバナンス・経済・組織があるべきだ——という提案があった。エピソード1ではそれを候補として記録し、最終判断は私に委ねられた。議論していない層に名前を与えるのは、このシリーズが避けるために存在している「リスト化」的な態度だからだ。今や議論が成立したので、ここで宣言する:6つ目の層は評価エンジニアリングである。無名のままだったのは、分野は下の層を打ち破って初めて自分の行を得るものであり、それを示すには下の層が先に存在していなければならないからだ。
各話では、その層について4つの問いを立ててきた:どこから生まれたか、何を制御できるか、誰が推進しているか、どんな失敗が次の層への移行を促すか。この最終話には5つ目の問いが加わる——だからこそ付録ではなく締めくくりになる:これまでの5つが本当に機能していたと、あなたに教えてくれたものは何だったのか?
想定する読者 CIが「グリーン」でもユーザーが納得しないAIエンジニア。ベンチマークの数値を資料に載せようとしている創業者。お金を扱うエージェントに最終承認を出す経営層。「eval」とは何かを知りたい高校生ビルダー。前提条件:一度でも数値を信じたことがある人。
評価エンジニアリングはどこから生まれ、誰が推進しているのか
[DEF] evalとは、Anthropic自身の定義によれば、"a test for an AI system: give an AI an input, then apply grading logic to its output to measure success"(訳:AIシステムのためのテスト:AIに入力を与え、その出力に採点ロジックを適用して成功を測定する)——この定義が正しいのは、採点ロジックをevalの“内部”に組み込んでいるからであり、“横に”置いていないからだ。内部 に評価ロジックを組み込む点が本質であり、単に横に添えるのではない。評価エンジニアリング とは、その評価ロジックを信頼できる形で設計し、そのロジック自体を測定・検証する技術領域である。ここを素通りする人がほとんどだ。
| 時期 | 転換点 | 推進者 | 何がどう変わったか |
|---|---|---|---|
| 2022-11 | HELM:言語モデルの包括的評価 (arXiv:2211.09110) | Liang ら(Stanford CRFM) | これ以前は、モデルはコアシナリオの平均17.9%しか評価されていなかったが、以降は標準化された条件下で96.0%がカバーされ、精度だけでなく7つの指標で測定されるようになった。評価がインフラになった瞬間である。 |
| 2023-06 | LLM-as-a-Judgeの評価 (arXiv:2306.05685) | Zheng ら(LMSYS / UC Berkeley) | 強力なモデルは自由記述の回答をほぼ人間並みの一致率で採点できる一方、位置・冗長さ・自己強化といったバイアスを持ち、これらは測定も緩和も可能であることが示された。グレーダー自体が研究対象となった。 |
| 2023-07 | 大規模言語モデルの評価に関するサーベイ (arXiv:2307.03109) | Chang ら | 評価対象・評価場所・評価方法という三つの軸で分野を整理し、何を 評価するか、どこで、どこで。評価は「何を」「どこで」「どのように」測るかで整理され、評価そのものを独立した専門領域とすべきだと主張している。 |
| 2023-10 | SWE-bench(arXiv:2310.06770) | Jimenez ら(Princeton) | 実際のGitHubイシューから2,294件のタスクを集め、リポジトリ自身のテストが通るかどうかで判定。類似度スコアではなく実行オラクルを採用。その日の最良モデルでも1.96%しか解けなかった。 |
| 2024-03 | Your AI Product Needs Evals (hamel.dev) | Hamel Husain | 実務家の必読記事。失敗したLLMプロダクトは"almost always share a common root cause: a failure to create robust evaluation systems"(訳:ほぼ常に共通の根本原因がある——堅牢な評価システムの構築に失敗していることだ)。その処方箋は、ユニットテスト→人間とモデルの評価→A/Bテストという三段階の階梯である。 |
| 2024-06 | τ-bench(arXiv:2406.12045) | Yao ら(Sierra) | pass^k(pass^k)を導入。k回すべてで解けた場合のみ合格とする。1回でも通れば合格という基準は、現実には誰もデプロイできないエージェントを過大評価していたため。 |
| 2024-07 | AI Agents That Matter (arXiv:2407.01502) | Kapoor ら(Princeton) | コストは指標に含めるべきであり、ホールドアウトセットはしばしば不十分か、そもそも存在しないことも多い。ベンチマークと実運用では求められるものが異なる。現行のエージェント評価に対する最も引用される批判。 |
| 2023–26 | OpenAI Evals(github.com/openai/evals)と、公開アリーナ(lmarena.ai) | OpenAI、LMSYS / LMArena | Evalsは「テストを登録できるフレームワーク」と「ライブのクラウドソース型ランキング」という形で、実際に現場で使われる仕組みになった。どちらもGoodhartの法則が顔を出す現場でもある。 |
| 2026-01 | Demystifying evals for AI agents (anthropic.com/engineering) | Anthropic | Evalsは論文のためのものではなく、CI(継続的インテグレーション)の一部として運用されている:"Automated evals are especially useful pre-launch and in CI/CD, running on each agent change and model upgrade as the first line of defense against quality problems."(訳:自動化された評価は、リリース前やCI/CDにおいて特に有用であり、各エージェントの変更やモデルのアップグレードごとに実行され、品質問題に対する最初の防衛線となる。) |
| 2026-08 | ジャッジのベンチマーク(arXiv:2608.26623)と、コンタミネーション(混入)分類(arXiv:2608.29463) | Vermaら、Anguloら | 掲載3週間前の最新動向:いまやジャッジ自体がベンチマークされ、混入は「どの緩和策を突破するか」で整理されるようになった。 |
[DESIGN] ここであえて挙げなかったものがある——リーダーボードだ。グレーダーもエージェントと同じ階段を登ってきた。完全一致、類似度スコア、実行オラクル、モデル判定——カバレッジを広げるたびに確実性は下がる。リーダーボードはあくまで出力であり、本質はその裏で動く仕組みにある。スクリーンショットが残るのはこのうち一方だけだ。
今この分野を動かしているのは誰か 批判を担うのは学術コミュニティ——Princeton(Kapoor, Narayanan, Jimenez)、Stanford CRFM、LMSYS/LMArena。現場での実装はラボが主導している。AnthropicはevalsをCIの一部として運用し、OpenAIはテスト登録用のフレームワークを提供している。そして最新の層は「グレーダーそのもの」を主題とする急成長中の研究分野——AgentJudgeBench、音声エージェントやモバイルエージェントのジャッジ評価研究だ。2年前には存在しなかった分野であり、この層が現実のものとなったことの何よりの証拠である。
頭の中のイメージ:リコールログ
このシリーズで繰り返し使ってきた一枚の図がある。今回がその最後だ。料理人はみな同じ階段を登る——自分、家族、レストランの厨房、ファストフードチェーン、複数チェーンを束ねる国家規模のサプライチェーン——AIエンジニアも同じ構造を辿る:学校の学習者、ジュニア開発者、シニア開発者、AIテックリード、CTO、そしてフロンティアリーダー。第一層はレシピカード、そして第六層がリコールログ.
全国規模の食品システムは、問題のなかった皿からは何も学ばない。学びが生まれるのは、何かが「戻ってきた」時――人を病気にしたバッチや、ラベルと違う油を使ったサプライヤーなどだ。リコールログこそが、システム全体が出した数字を「それは誤りだ」と唯一宣言できる記録である。
そしてこのログには、誰もが歓迎しない特徴がある。リコールログが空である場合、その意味は2つしかなく、良いのはそのうち一つだけだ。食品が本当に安全か、あるいは誰も検査していないか。そのどちらかであり、ログの中から見れば両者は区別がつかない――だからダッシュボードが緑でも、それ自体は証拠にならない。
| 段階 | キッチン | あなたの役割 | どこまで手を加えられるか |
|---|---|---|---|
| 1. プロンプト | レシピカード――自分のための料理 | 学習者 | 料理人が拠り所にする書かれた手順 |
| 2. コンテキスト | パントリー――家族のための料理 | ジュニア開発者 | 作業中にカウンターや冷蔵庫にあるもの |
| 3. ハーネス | レストランの厨房 | シニア開発者 | 各ステーション、手の届く道具、すべての皿をチェックするパス |
| 4. ループ | ファストフードチェーン | AIテックリード | 味見し、測定し、修正し、その修正を全店舗に展開する |
| 5. グラフ | 全国規模のサプライチェーン | CTO | 複数のキッチンを一つのスケジュールとトラック群で動かす |
| 6. 評価 | リコールログ | フロンティアリーダー | 食品システム全体が、不良品として戻ってきたものから学ぶ知見 |
軸は一つではなく二つある。 どのキッチンでも六つの層が同時に働いている。家庭の料理人にもレシピカードがあり、パントリーがあり、コンロがあり、味見があり、仕入れ先があり、そして誰かが体調を崩した料理の記憶がある。上に進むほど変わるのは、どれだけ多くの層に手を伸ばせるか、そしてそれぞれの層をどれほど厳密に運用するか。最初は勘、次に測定、ゲート、そして自己修正へと成熟していく。六つの専門領域は層(自分が制御できるもの)、シニアリティは成熟度(どう運用するか)だ。評価がグラフより高度というわけではない。キャリブレーション済みのゴールデンセットを持つ三ノードのグラフのほうが、デモだけで評価している四十エージェントのトポロジーより成熟している。特にここで強調したいのは、他の層では洗練されているチームほど、評価だけは成熟度ゼロで運用しがちだという点だ。
この比喩は主張の導入には使えるが、証拠にはならない。本質は下の1:1対応マップにある。
語彙とその出典の対応付け
[DEF] ここで重要なのは四つの単語だが、そのうち三つはしばしば逆の意味で使われている。
- ゴールデンセット — 人間が結果を書き残した入力のこと人間 が記録したものであり、モデルが出力してあなたがざっと目を通したものではない。決定的な違いは、ゴールデンラベルがあなたのシステムと食い違っても、そのラベルが正解として通る点にある。
- ジャッジ — 採点ロジック全般を指す。文字列比較、アサーション、テストスイート、あるいは「これは正しいか?」とモデルに尋ねることも含む。Zhengらは最後の方法も現実的で、しかも測定可能なバイアスを持つことを示した。どちらも不可欠な要素である。
- Cohenのカッパ(κ) — 2人のラベラー間で、偶然一致を超えた合意度を測る指標。単純な一致率は指標にならない。このエピソードの最初のセルでは、コイントスが固定リストと47.7%一致し、κ = −0.046だった。従来のκの区分はLandisとKoch(1977)によるもので、著者自身が任意のベンチマークとして提示したものであり、理論的に導かれたものではない。論文は有料なので、ここでは説明のみで引用はしない。私はκ ≥ 0.60をエンジニアリングの下限とするが、それは「substantial」区分がそこから始まるからであり、0.60自体が何かの事実というわけではない。
- pass@kとpass^k — k回の試行のうち少なくとも一度解けた場合と、すべて解けた場合の違い。Yaoらはτ-benchで後者を導入した。なぜなら、最先端の関数呼び出しエージェントですら"quite inconsistent (pass^8 <25% in retail)"(訳:非常に一貫性が低い(小売分野でpass^8が25%未満)).
[OPEN] あえて定義しないフレーズがある:「the eval passed(評価に合格した)」。どのゴールデンセットを、何で採点し、どう報告し、どのkで、そして人間との一致度はどれか——この5つを明示しない限り、参照先は存在しない。5つを答えればこのフレーズは不要だし、答えなければこのフレーズがその事実を隠すだけである。
主張の分類
[DEF] 評価エンジニアリングは「真理関数」である。他のすべての層が自分について主張する内容は、この層の出力として現れる。つまり、システムの精度はグレーダーの精度で上限が決まる——ものさしの誤差が測定値の誤差を決めるのと同じ理屈だ。
[EVIDENCE] 3つの公開された測定が、それを3方向から具体的に示している。
一つ目——グレーダーにはバイアスがあり、その重みも測定されている。 Zhengら(arXiv:2306.05685, v4)は"the usage and limitations of LLM-as-a-judge, including position, verbosity, and self-enhancement biases, as well as limited reasoning ability"(訳:LLMをジャッジとして使う際の使い方と限界——位置バイアス、冗長性バイアス、自己強化バイアス、そして限定的な推論能力——を含む)そして、良い側面もきちんと測定された。優れたジャッジは"can match both controlled and crowdsourced human preferences well, achieving over 80% agreement, the same level of agreement between humans."(訳:管理された環境でもクラウドソースでも人間の好みにしっかり一致し、80%超の合意率を達成できる。これは人間同士の合意率と同水準だ。)。この「ペアで測る」こと自体が発見である。ジャッジは人間と同等の精度を持ち、どちらの答えを先に見せるかで判定が揺れる。前半だけを鵜呑みにしたチームは、測定されていない計測器にブランドだけを与えて使っているのと同じだ。
二つ目――レポートのルールは、ほとんどのモデルアップグレードよりもはるかに大きな自由度を持つ。Yaoら(arXiv:2406.12045)は、最先端の関数呼び出し型エージェント(抽象名gpt-4o)が"succeed on <50% of the tasks, and are quite inconsistent (pass^8 <25% in retail)"(訳:タスクの半分未満しか成功せず、一貫性もかなり低い(pass^8はリテールで25%未満))ことを示し、pass^kを提案した。これで「一度でも成功すればOK」という甘い評価ができなくなった。pass@8とpass^8でエージェント自体は一切変わらない。変わるのは、同じ試行に対してどの問いを立てるかだけだ。
三つ目――ベンチマークは、あなたが本当に知りたいものから静かにずれていく。Kapoorら(arXiv:2407.01502)は、この三つの中で最も居心地が悪い。なぜなら、彼らの指摘はどれもモデル自体の話ではないからだ。そこには"a narrow focus on accuracy without attention to other metrics"(訳:他の指標を無視し、精度だけに狭く集中している)という問題があり、その結果、"SOTA agents are needlessly complex and costly, and the community has reached mistaken conclusions about the sources of accuracy gains."(訳:SOTAエージェントは無駄に複雑かつ高コストで、コミュニティは精度向上の要因について誤った結論に至っている。)。そして最も深刻なのは、"many agent benchmarks have inadequate holdout sets, and sometimes none at all"(訳:多くのエージェントベンチマークはホールドアウトセットが不十分で、時には全く存在しない)ことであり、これが原因でエージェントは"fragile because they take shortcuts and overfit to the benchmark in various ways."(訳:さまざまな抜け道でベンチマークに過剰適合し、脆弱になる。)
[DERIVATION]。この三つを合わせると、このエピソードが存在する理由となるルールが見えてくる。報告されるスコアは単なる一つの測定値ではなく、三つの要素の合成物だ――エージェントのふるまい, ジャッジが人間とどれだけ一致したか、そして繰り返し試行に対するレポートのルールである。あなたが見せられるのは最初の一つだけで、それが全てだと思い込まされる。エージェントを5%改善しても、ジャッジを何も変えなければ、スコアはどれだけ・どちらに動いたか誰にも分からない。
先月のコンタミネーション分類もリーダーボード側から同じことを言っている。ベンチマークスコアは、モデル、ハーネス、エリシテーション予算、サンプル母集団、コンタミネーション状態という五つの要素の合同事実であり――"Leaderboards publish the model and the score, so capability and leakage stay observationally equivalent"(訳:リーダーボードはモデルとスコアを公開するため、能力とリークは観測上区別がつかないままになる)(arXiv:2608.29463)。5つある入力のうち、公開されるのは2つだけだ。だからこそ、この回のタイトルはこうなっている。
1対1の技術的対応表
リコールログの各要素は、コード上で具体的に指し示せるものに1対1で対応している。
| リコールログ | システム | どこに存在するか |
|---|---|---|
| 不良として戻ってきたバッチ | 失敗したアイテム | ゴールデンセットの1行 |
| 「不良」とは何かを定義したファイル(バッチ出荷前に作成) | ゴールデンラベル | 人間が書いた確定済みの基準データ |
| バッチが不良かどうかを判定する検査官 | ジャッジ(判定ロジック) | テスト、アサーション、またはモデル呼び出し |
| 一度も厨房を不合格にしたことがない検査官 | 縮退したグレーダー | パス率100%でκ = 0.000 |
| 同じ厨房を再訪する2人目の検査官 | 一致度の測定 | 人間ラベルとのCohenのκ |
| 火曜日に訪問し、金曜日にもう一度訪れること | 位置を入れ替えて再判定 | 両方の順序で判定し、スコアを平均する |
| 検査官がどちらとも判断できないバッチ | 未測定の項目 | UNMEASURED — 除外、決して合格にはしない |
| 8回中1回の不良品 | 複数回試行での一貫性 | pass^k、ではなくpass@k |
| 検査に最適化して学習するチェーン | ベンチマークへの過適合 | ホールドアウトセットなし(Kapoorら) |
| 空のリコールログ | シグナルなし、あるいはテスト自体がない | カバレッジ:測定済み ÷ 判定対象 |
[定義] この1行は独立した段落に値する——両プロジェクトの根幹であり、私自身の研究でもすでに運用している不変則だ。証拠がなければ「測定されていない」であり、決して合格を意味しない。判定不能な項目は、ギリギリの成功ではなく、情報が存在しないというだけだ。正直な記録は「第三の状態」として残すべきであり、その状態を持たないシステムは精度が上がることはない。報告者に都合よく、静かに寛大になるだけだ。
予測ゲート
スクロールする前に、まず自分の覚悟を決めてほしい。あなたのジャッジは、100項目中79項目で自分の手ラベルと一致している(キャリブレーション用の20項目を除外する前の全100項目セットで)。
Q1. そのときのCohenのカッパはおおよそいくつか?そして、79%の一致率は十分と言えるのか?
Q2. ジャッジ自体は何も変えず、すべての項目を2回見せる——一度は候補を先に、もう一度は候補を後に——そして平均を取る。カッパはどう変化し、100項目中いくつが順序によって判定が変わるか?
Q3. あるエージェントが、各タスクごとに成功確率0.25〜0.95で100タスクを8回ずつ実行する。大きい順に並べよ:pass@1、pass@8、pass^8。
Q4. あなたのジャッジが一定方向にバイアスしている場合、それはあなたの測定pass@8 か、それともあなたの pass^8 をより大きく歪めるか?
答えはFailure Roomにある。Q4が直感的すぎたなら、ノートブックのセル8に4分かけてみるといい。
Failure Room(失敗室)
意図的に壊してみよ。壊せない仕組みは、ただの主張にすぎない。
Failure 1 — 個々の誤判定の山の上に成り立つ「正しい」集計値。 ラボの素朴なジャッジは、ゴールデン0.510に対してパス率0.720を報告し、100件中79件で人間と一致した。どちらも一見まともに見えるが、カッパは0.576(全100件、ホールドアウト80件では0.585)で、その多くは偶然の一致だった。集計値は真実に近く見えても、その下の個々の判定が大きく間違っていることがある。そして、実際に出荷されるのはその個々の判定だ。合意率の数字が添えられていないパス率は、小数点付きの噂話でしかない。
Failure 2 — 何も落とせないグレーダー。 わざと作ったことがある。すべての項目にPASSを返すジャッジだ。パス率1.000、カッパはきっかり0.000。これは一度も厨房を落としたことのない食品検査官と同じで、完璧な記録だが、絶対にそこで食事してはいけない理由でもある。藁人形ではない。ダッシュボードが良く見えるまで閾値を調整したすべてのグレーダーの極限例だ。自分も書いたことがあるが、中から見ると進歩した気分になる。
Failure 3 — エピソード1の空の皿はいまだにメニューに載っている。 エピソード1は、{} を毎回返すエージェントで終わった。したがって再現率は1.000。5話後、その空の皿は今度はこのエピソードの監査ベンチも通過する。そしてベンチ自身のルールが理由を説明する:空の回答は決して判定不能なので、すべての項目が UNMEASURED に分類される。そしてこのフラグ make negative が拒否するために存在するのは、まさに UNMEASURED を分子に移動させるためだ。1つの {} はこれで6つの厨房を突破した。今季で最も成功したエージェントだが、一度も出力を出したことがない。どんな指標も、それを最大化する異常入力を許容する。そして防御策は決して「より良い指標」ではなく、その異常入力を破壊する第二の指標 である。決定性はタスク成功率の隣に。パス率はカッパの隣に。カバレッジはその両方の隣に。
Failure 4 — ひとつのバイアスを修正すると、別のバイアスが露呈し、退化に見えることがある。 このせいでラボを作り直す羽目になった。最初のバージョンは各項目のスロットをランダム化していたが、順序を入れ替えるとカッパが0.820から0.780に下がった(このビルドは破棄)。なぜならランダムな位置オフセットが冗長性オフセットを部分的に打ち消していたからだ。逆方向の2つの誤差は「正確さ」に見える。もし修正で指標が悪化したら、最初の仮説は 修正が間違っている ではなく、指標が第二の誤差によっておだてられていた、である。
Failure 5 — 検査に合わせて学習すること。 Goodhartの元々の主張(1975年、1984年再掲)は、統計的な規則性は制御目標になると崩壊するというものだ。多くの人が引用するキャッチーなスローガンはMarilyn Strathernによる1997年の大学監査に関する定式化である。どちらも有料壁の向こうなので、ここでは要旨のみ。エージェント規模での現象は実測済み:先月の分類法(arXiv:2608.29463)は、各汚染タイプがどの緩和策を突破するかで整理されており、プライベートテストセットは5つのうち最初の1つしか防げない。あなたのゴールデンセットも、誰かがそれを読んでからエージェントを書くその日から同じ病気にかかる。
解答。 Q1: κ ≈ 0.58 —— 79%の一致率は十分とは言えない。コイン投げでも約50%は偶然で一致してしまうからだ。Q2: カッパは全100件のセットで0.780まで上昇する(このエピソードの他の部分で報告している80件のホールドアウトでは0.726)。100件中50件 が順序を入れ替えると判定が変わる。つまり、採点対象の半分は座席順(表示順)で結論が左右されていた。Q3: pass@8(0.99)>pass@1(0.57)>pass^8(0.03)。Q4: pass^kは特に大きく影響を受ける——k回すべてでANDを取るため、固定方向のバイアスは平均化されずに累積する。長さバイアスのあるジャッジは、真の値が0.030のときpass^8を0.240と判定した。
ノートブック
Lab 06 —— 真理関数:ジャッジのドリフトとpass^k
06_eval_truth_function.ipynb・Colab無料枠APIキー不要・標準ライブラリのみ・シード済みSEED=20260911・CPUで約2秒・全セルは公開前に実行済み。gistには両プロジェクトも収録:gist.github.com/wjlgatech/752a9450…
全9セル。実行する意義を生む設計は、ジャッジが返すのがスコアであり、判定(verdict)ではない点にある。バイアスは加算オフセットとして加わる。これは教育用の単純化ではなく、各修正の影響を特定できるようにするためだ。名前を付けられるオフセットは、相殺して残差を確認できる。
- Cohenのカッパは、答えが既知の2入力で検証した:恒等(1.000)と独立なコイン(−0.046、単純一致率47.7%)。
- ゴールデンセット:隠れた品質・人手ラベル・長さとスロットという2つの性質を持つ100件——品質とは独立設計上.
- ジャッジ:位置バイアス±0.30、冗長性±0.12、ノイズ±0.08。ナイーブな判定κ 0.576で、ゴールデン0.510に対しパス率0.720。
- 順序入れ替え再判定。 両方の順序で採点し平均を取る:オフセットは片方で+d、もう片方で−dとなり、正確に相殺される。100件中50件の判定が順序を入れ替えると反転し、κは全100件で0.780(80件のホールドアウトでは0.726)まで上昇する。冗長性バイアスにはあえて手を加えていない——この残差が、修正が的確だった証拠である。
- キャリブレーション用セット——20件の手作業ラベル付きアイテム。訓練には使わず、ゴールデンラベルを固定したまま長さバイアスを推定する用途:真値+0.240に対して+0.259。
- 同じ80件のホールドアウトアイテムに対し、ゲート適用下で三つの評価体制を比較。
- pass@kとpass^kの比較(k = 1, 2, 4, 8)——100タスクを各8回ずつ試行。
- 二つの誤差がどう重なるか:同じ試行を、バイアスなし・バイアスあり・キャリブレーション済みの各ジャッジで採点。
- グッドハートのセル:常にPASSを返すジャッジ、そしてエピソード1の
{}エージェントがここで最後に登場する。
[EVIDENCE]このエピソードの根拠となる二つの表。どちらも実行時に出力されたものだ:
held-out items: 80 (the 20 calibration items are excluded)
judge kappa agree measured pass
naive, one pass 0.585 64/80 0.738
+ swapped position 0.726 69/80 0.475
+ calibration set 0.899 76/80 0.537
golden labels (truth) 1.000 80/80 0.537
gate kappa >= 0.60: naive, one pass FAIL (0.585)
gate kappa >= 0.60: + swapped position PASS (0.726)
gate kappa >= 0.60: + calibration set PASS (0.899)
100 tasks, k=8 trials each, per-task success probability drawn in [0.25, 0.95]
k pass@k pass^k gap
1 0.570 0.570 0.000
2 0.750 0.360 0.390
4 0.900 0.120 0.780
8 0.990 0.030 0.960
二手だけで、ジャッジ自体は一切変えずにκが0.585から0.899へ跳ね上がる。下段:同じエージェント、同じ800回の実行でも、報告ルール次第で0.990にも0.030にもなる。どちらも事実だが、実際に使う人間が体験するのは一方だけだ。
[DESIGN]なぜスタブでライブモデルではないのか。シミュレータはどこで誤差が入り、何がそれを除去するかを数秒で、無料・キー不要で再現できる。ただしできないのは値の大きさの再現だ。出力される数値はZhengらの80%一致やτ-benchのpass^8が25%未満といった実システムの実測値の証拠にはならず、論文のみが引用可能である。橋渡しは短い——judge_score()を任意のOpenAI互換エンドポイントへの呼び出しに置き換えても他は何も変わらない。測定コードは自分が何を指しているかを知らないからだ。
プロジェクト
標準ライブラリだけでゼロから二つのビルド。どちらもこの節を書く前に実行済みなので、すべての数値は予測ではなく実測値である。
プロジェクト1──実生活編the-report-card
p1_report_card.py · python3 p1_report_card.py
習慣トラッカーが毎日1行だけ記録し、それをジャッジが読んで「習慣を守ったか」を判定する。私は60日分を自分の手でラベル付けした。ここで問うべきなのは、自分のエージェントがどれだけ優秀か、ではなく、「自分のエージェントがどれだけ優秀か」と教えてくれたその判定自体が、どれだけ信頼できたのか、である。.
the-report-card - grading the grader of a habit tracker
golden set : 60 days labelled by hand
calibration : 10 days re-read, 50 days graded
note-length offset: estimated +0.284, true +0.320
grader kappa gate measured streak
before calibration 0.572 FAIL 0.680
+ swapped batch order 0.797 PASS 0.400
+ 10-day calibration 0.960 PASS 0.440
my own labels 1.000 — 0.460
[EVIDENCE] アプリは私が習慣を守った日数を68%日と判定した。実際に守ったのは46%日だった。判定は日数を間違えており、しかも私に都合の良い方向にズレていた。だから私は一度も疑問に思わなかった。私は「感じの良い丸め誤差」に自分で拍手していたわけだ。
この2つの歪みは、Zhengらが論文で指摘したバイアスの家庭版だ。トラッカーは新しい順に表示されるため、同じメモでもバッチの上にある方が下より高く評価される──位置バイアス。数字が含まれるメモ(例:「5.2km走った」)は、「ランニングした」だけのメモよりも、実際にやったかどうかに関係なく信頼性が高く見なされる──冗長性バイアス。10日分を手作業で再評価したところ、後者のバイアスは実測+0.320に対し推定+0.284だった。
プロジェクト2──企業編the-audit-bench
p2_audit_bench.py · make report · make gate · make negative
サポート解決エージェントが、人間が結果を書いた120件のチケットを採点する。24件はキャリブレーション用に取り分け、96件を実際に採点する。ハーネスはジャッジを鵜呑みにせず、その性能を測定し、数値を公開し、ジャッジが基準を満たさない場合や未測定の項目が合格扱いされた場合はビルドを失敗させる。
kappa, single pass, raw : 0.455 <- what a one-shot judge gives you
kappa, calibration, before: 0.577 <- FAILS the 0.60 gate
kappa, calibration, after : 1.000 on the 22 of 24 calibration tickets the harness could measure
measured / unmeasured : 80 / 16 (coverage 0.833)
order-dependent 14
inside the uncertainty band 2
pass rate, measured only : 0.500
pass rate, if UNMEASURED were counted as passes: 0.583 <- the number the gate refuses
gate
PASS kappa on the calibration set >= 0.60 1.000
PASS coverage >= 0.70 0.833 (80/96 measured)
PASS no UNMEASURED item is counted as a pass 0 leaked
=> green
[EVIDENCE] 0.500 と 0.583 を並べて比較する。ハーネスが測定できた80件のチケットでの正直な合格率は0.500、都合の良い合格率は0.583。違いは、16件の判定不能チケットを静かに合格扱いしたかどうかだけだ。8.3ポイントの差は、「三値型」を実装しない限り誰でも無料で得られる──嘘をつく必要すらなく、世界が三つの値を持つのに型が二つしかないだけ。
make gate は exit 0 で終了する。make negative は欠陥を再導入し、exit 1 を要求する:
gate (negative test: unmeasured items deliberately counted as passes)
FAIL no UNMEASURED item is counted as a pass 16 leaked, first: TCK-1029, TCK-1034, TCK-1035
=> RED # exit 1
一度も赤になったことのないゲートは、そもそもゲートが存在しないのと見分けがつかない──これは別のシーズンで私が身をもって得たルールであり、今や「計器を信用しない」ことが主題のベンチに組み込まれている。
30分で作れる──契約書
エンジニアが実装時に求める順で、ベンチに必要なものをすべて挙げる。入力は、人間が結果を書いたN件のアイテム。出力は、必ずこのいずれか一つ。PASS · FAIL · UNMEASURED。不変条件:証拠がなければ「未測定」とし、「合格」には絶対にならない。停止ルール:ゲートがビルドを失敗で止める。リトライはしない。
GOLDEN = [(item, human_label), ...] # a human wrote these, not the model
CAL, TEST = GOLDEN[:24], GOLDEN[24:] # calibration is HELD OUT of the score
def verdict(item, offset):
a = judge(item, candidate_first=True) # score, not a verdict
b = judge(item, candidate_first=False) # the SAME item, other order
a, b = a - bias(item, offset), b - bias(item, offset)
if (a >= T) != (b >= T): return UNMEASURED, "order-dependent"
if abs((a+b)/2 - T) < BAND: return UNMEASURED, "inside the band"
return (PASS if (a+b)/2 >= T else FAIL), "two orders agreed"
offset = mean(score | long, label=g) - mean(score | short, label=g) # over CAL, per g
# CI gate (make gate)
# kappa(verdicts, human_labels) on CAL >= 0.60 else UNCALIBRATED
# coverage = measured / graded >= 0.70 else vacuously green
# UNMEASURED items counted as passes == 0 (make negative proves it bites)
# any line below threshold -> exit 1 -> the build fails
意図的に省いているもの:ライブモデル(judge()を任意のエンドポイントに差し替え)、各アイテムごとの根拠、そして同点時に判定を分ける第三のジャッジ。最後のものは見落としではなく、意図的な選択だ——同点は情報である。これは「このアイテムはこのジャッジでは判定不能」という意味であり、UNMEASUREDが正直な記録となる。タイブレーカーを入れると「既知の未知」を「未知の既知」にすり替えてしまい、それはより悪い。
[DESIGN] この仕組みが単なるデモではなく、エンタープライズ向けの設計である理由は、次の4つの特性にある:
- キャリブレーション用アイテムはスコア計算から除外される。 採点対象で調整されたグレーダーにはホールドアウトセットが存在しない——これはKapoorらが指摘したまさにその欠陥だ。24件のキャリブレーションチケットは合格率に一切含まれない。
- カバレッジはゲートで制御され、単なる報告では終わらない。 下限がなければ、ハーネスはほぼすべてを「未測定」と宣言することで、いくらでもカッパ値を稼げてしまう——つまり何も測定せずにゲートを通過できる。
- 第三の状態は「慣習」ではなく「型」として扱う。
UNMEASUREDは、PASSを返すのと同じ関数から返るため、呼び出し側がその存在を忘れることはない。慣習は風化するが、型は風化しない。
[OPEN] どちらのプロジェクトも証明していないこと。両方のゴールデンセットは合成データで、どちらのジャッジもスタブである。監査ベンチのカッパ1.000は22件のアイテム上で出ている——これは不確実性バンドが本来の役割を果たしているだけで、完璧なグレーダーという意味ではない。そしてn=22では、優秀と幸運の違いは判別できない。それこそが、このシーズンで2度警告した「スコープ外の1.000」そのものだ。現状は実行可能かつゲート付きであり、デプロイ済み・実運用で測定されたものではない。本当に意味のあるものにするには、実際の解決結果付きのライブキューからのチケット、そして二人目の人間ラベラー。つまり、人間同士のカッパ値が実質的な上限となり、1.000という暗黙の天井は消える。
同じ物語、出口は五つ
一本の軸に、読者ごとの出口。決断を一つ、行動を一つ。
| あなたが | このエピソードで変わる判断 | 今週やるべき一つの行動 |
|---|---|---|
| 高校生ビルダー | 「The eval passed」は、誰が採点し、どれだけの頻度でうまくいったかを明示しない限り、事実とは言えない。 | Colabラボを実行(2秒、APIキー不要)、任意のチャットボットの回答20件を自分でラベリングし、その自己採点とのカッパ値を計算せよ。 |
| AIエンジニア | エージェントの精度はグレーダーとの一致度で上限が決まるが、そのグレーダーは今まだ未測定だ。 | 20件を手でラベリングし、カッパ値を測定し、上記の契約通りゲートをCIジョブの一つに追加せよ。 |
| ファウンダー | ベンチマークの数字は三つの事実が一つのコートを着ている状態だ。お世辞の数字はタダ、本当の数字はゴールデンセットが必要。 | コアフローでpass^kとpass@kを並べてチームに聞け。誰もkを持っていなければ、それが発見だ。 |
| エグゼクティブ | 信頼性は監査の問いだ:アイテムのうち何割が測定されたか、そして誰がラベルを書いたのか。 | 次回の品質レビューで「カバレッジとラベラー間一致度」を精度の隣に加えよ。 |
| 投資家 | 堀になるのはゴールデンセットとキャリブレート済みグレーダーであり、チームが借りているモデルやリーダーボードの行ではない。 | どのエージェント系スタートアップにも、人間ラベルとのカッパ値とpass^kを並べて尋ねよ。どちらか一方だけなら、それは演出にすぎない。 |
リアリティ・ミッション
自分が実際に運用しているAIシステムで、20分だけ手を動かす。
- 普段頼っているAIの出力をひとつ選ぶ。たとえば要約、ルーティング、コードレビュー、習慣トラッカーなど。
- そのAIが実際に出した出力を20件集め、自分の手でラベル付けする。このとき システム自身が付けたスコアや判定は一切見ないこと。合格か不合格か、自分で決める。
- 同じ20件について、システム自身の判定も取得し、Cohenのカッパを計算する(ノートブックのセル1で6行の計算で済む)。
- 20件のうち、自信を持ってラベル付けできなかった数を数える。それがカバレッジ(測定範囲)の問題だ。
- もしグレーダーがモデルなら、5件を両方の順序で見せて、判定がひっくり返った回数を数える。私のラボでは100件中50件が入れ替わった。
もしステップ2(自分でラベル付け)が一番難しかったなら、それこそが最大の収穫だ。つまり、あなたのチームには「正解」 という定義が人間の目を通しても生き残れる形で存在しておらず、他の5つの層をどれだけ積み上げてもそこは埋まらない、ということだ。
リサーチ・チャレンジ
この課題をエージェントに渡し、まず自分の予測を事前登録する。
出力の正誤が明確に判定できるタスク群をひとつ選び、2人が独立にラベル付けした100件のゴールデンセットを作る。報告内容:人間同士のカッパ(これが上限)、モデル判定者と各人間とのカッパ、さらに(a)順序入れ替え再判定、(b)20件のキャリブレーション補正、(c)その両方でのカッパの変化。次に、人間ラベルとモデル判定者それぞれについて、k=1,2,4,8でpass@kとpass^kを計算し、1件あたりの判定コストも記録する。
事前登録: 判定者のカッパが人間同士のカッパを上回るかどうか、また判定者の誤差がpass^kをpass@kより大きく動かすかどうか。
私の予測(実験前に記録):人間同士のカッパが上限となり、想定より低い値になる。判定者のバイアスはpass^kを何倍にも歪めるが、pass@kにはほとんど影響しない。もし逆の結果が出たら、それは設定のバグではなく、論文に値する意義ある不一致だ。
最近の動向
この層の現状(プレス時点)は、30の先駆的な情報源を毎週ライブで同期して集めたフィードからまとめている。research-anything (make watch-sync技術的なシグナルの強さで順位付けし、決してオーディエンス規模では並べない。各項目は同期日にアブストラクトページから取得した。
同期日:2026-09-11。
- arXiv:2609.11067 (2026-09-10) — ノイズがバイアスを生み出すとき。3,822件のステレオタイプ関連応答を5種類のノイズ条件で評価した結果、誤字や壊れた句読点は、中立的な社会バイアス判定をバイアスありに変える確率が、その逆の最大120倍にもなることがわかった。公開時点で発表から1日という新しい論文だが、このエピソードをさらに一段深く突き刺す内容である——バイアスの測定そのものも、測定器として独自の誤差を抱えている。
- arXiv:2608.29463 (2026-08-29) — Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation.5種類のコンタミネーションを、それぞれどの緩和策を突破するかで分類している。プライベートなホールドアウトセットで防げるのは最初の1種のみ。外部コーダー2名がこの計測手法を41文書に適用し、変数ごとの重み付きカッパは0.00〜0.35だった——測定の信頼性について、自ら低いコーダー間一致率を正直に公開した論文である。
- arXiv:2608.26623 (2026-08-27) — AgentJudgeBench.3,808件、20Bからフロンティア規模まで6つのジャッジを比較。タスク難易度が上がるほどアラインメントは悪化し、グラウンドトゥルースがない場合はその進行が1.5倍速くなる。難問かつグラウンドトゥルースなしでは、6つすべてのジャッジが規模に関係なく77〜82%の帯域に収束する。構造化されたルーブリックは最大6.5ポイントの改善効果があるが、chain-of-thoughtやjudge temperatureには効果が見られなかった。
- arXiv:2608.24314 (2026-08-25) — Benchmarking LLM Judges for Voice-Agent Evaluation.同じインタラクションを3種類の評価構成で実施した結果、ジャッジの信頼性は個体の性質ではなく、メトリクスや評価構成に依存することが明らかになった。キャリブレーションの議論がテレコム分野からAI評価に持ち込まれた格好だ。
- 評価期間外だが特記:arXiv:2608.11434 (2026-08-11) — MobileJudgeBench、931件の人手アノテーション付き軌跡:シンプルなベースラインジャッジが、専用パイプラインをしばしば上回る。
[OPEN]変わっていないのは——キャリブレーション済みジャッジが実運用システムの結果をどれだけ変えるかを測定した公開研究は見当たらなかった。上記のすべての結果は、ジャッジとラベルの一致を測っているだけで、ジャッジが誤った場合に実際のアウトカムがどう変わるかは測定されていない。これが本エピソードのResearch Challengeで指摘したギャップであり、文献調査では埋められなかった。実運用システムのアウトカム。上記のすべての結果はジャッジとラベルの一致しか測っておらず、ジャッジが誤った場合の実際の影響は測定されていない。これが本エピソードのResearch Challengeで指摘したギャップであり、文献からは埋められなかった。
出口テスト
スクロール禁止。
- 6つの層を順に挙げ、なぜ6層目だけが5話分名前がなかったのか、その理由も説明せよ。
- あなたのグレーダーは100件中79件であなたのラベルと一致した。それだけではなぜ十分でないのか、そして本当に必要な数値は何かを答えよ。
- ベンチマークスコアが示す「事実」は三つの要素の合同で成り立つ——エージェントのふるまい、グレーダーの人間との一致度、そして繰り返し試行に対する報告ルールだ。だが、たいてい見せられるのは最初の一つだけである。
- 判定が常に同じ方向に偏るジャッジバイアスは、pass^k(すべて成功)ではk回すべてにその偏りが掛け算で効くため、pass@k(少なくとも一度成功)よりもはるかに大きく測定値を歪める。
- ジャッジが判定不能な項目は「未測定」として記録すべきだ。それ以外——たとえば「成功」や「失敗」として扱う——は、情報の欠如を事実のように見せかけ、指標を静かに甘くする。
- すべての入力に「成功」と返す縮退入力は、どんな指標でも最大値を叩き出す。だが、例えばカッパ係数のような「一致度」指標を並べれば、その縮退入力は即座に破綻する。
次回予告——そして今シーズンの幕引き
日曜に自分でゴールデンセットを作り、手でラベル付けする。ジャッジは0.899を返し、ゲートは余裕で通過。ベンチをCIに組み込み、ネガティブテストが赤になり、やがて緑になるのを見届ける。その午後だけは「これでキッチンは制覇した」と思える——だが、これこそが今シーズンが何か崩れる直前に鳴る音である。
だがそのとき、あなたの六層スタックでは答えられない問いが投げかけられる——そもそも、このエージェントはそれをやってよかったのか?
「正しくやったか」ではない——その問いにはどの層も答えられる。問われているのは、その行為が許されていたかどうか。誰が、どんな権限で、どこに記録されたのか。カッパがいくら優秀でも、そこには何も言えない。なぜなら、較正済みのグレーダーは「答えがラベルと一致したか」しか教えてくれず、「そもそもそのラベルが目標でよかったのか」には沈黙するからだ。
これは「層」ではなく「継ぎ目」——次のエピソードではなく、次元の異なる問いである。ガバナンスこそが評価の次に来る最有力候補だ。ゴールデンセットを誰が変更できるか、ゲートの上書きに誰がサインするか、エージェントの行動時にどんな監査証跡が残るか——その次が経済、さらに組織。将来のシーズンの候補として、エピソード1が今回使った登録簿に記録されている:記録だけして、議論は後日、約束は決してしない。
シーズンの本当の締めはもっと小さい。六層を一文ずつ、毎回同じ形で:プロンプトは仕様、コンテキストは予算、ハーネスは封筒、ループはレフェリー、グラフはスケジュール、評価は真理関数である。どれも呪文ではない。六つすべてが書き下せるものであり——最後の一つだけが、他の五つが書く価値があったかを教えてくれる。次はそこから始めよ。誰もが最後に作る層であり、他のすべてがその上に立っていた。
次に読むべき記事
第6話:インテリジェンス・エンジニアリング・アドベンチャーズ シーズン7 — キッチンの階段そして今シーズンの締めくくり。シリーズの出典では、主張ごとに定義・導出・証拠・設計上の選択・未解決問題のクラスがタグ付けされている。比喩は主張の導入には使えても、証拠にはならない。各話には、無料枠・APIキー不要のColabノートブックと、ゼロから作った2つのアプリ(個人用・エンタープライズ型)が付属する。5段の階梯はFengら(arXiv:2608.21156)によるもので、私の独自案ではない。第6段はここで初めて命名された。2026-09-05に外部レビュアーが提案し、第1話でオープン候補として記録されていた。「what moved」セクションは、技術的な信号で順位付けされ、決してオーディエンス規模ではない、30の先駆的なソースのライブ週次フィード同期から生成されている。本記事には、雇用主やクライアント由来の素材は一切含まれていない。— Paul Jialiang Wu · futuremake.io
参考文献
- Kapoor, S., Stroebl, B., Siegel, Z. S., Nadgir, N., Narayanan, A. (2024). AI Agents That Matter. arXiv:2407.01502、2024-07-01投稿。— arXivアブストラクトページより逐語引用(2026-09-11閲覧):精度への狭い注目、ベンチマークニーズの混同、不十分なホールドアウトセット。
- Zheng, L., Chiang, W.-L., Sheng, Y. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685、v4 2023-12-24改訂。— arXivアブストラクトページより逐語引用:3つのバイアスと80%超の合意率。
- Yao, S., Shinn, N., Razavi, P., Narasimhan, K. (2024). τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv:2406.12045、2024-06-17投稿。— arXivアブストラクトページより逐語引用:pass^k、およびリテール領域でのpass^8が25%未満。
- Liang, P., Bommasani, R., Lee, T. et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110、v2 2023-10-01改訂。— 17.9%→96.0%のシナリオカバレッジと7つの指標についてアブストラクトを参照。
- Chang, Y., Wang, X., Wang, J. et al. (2023). 大規模言語モデルの評価に関する調査。 arXiv:2307.03109、v9(2023-12-29改訂)。— 要旨を参照し、「何を・どこで・どう評価するか」という整理と、「評価を独立した専門領域とみなすべき」という論点を確認。
- Jimenez, C. E., Yang, J., Wettig, A. et al. (2023). SWE-bench: 言語モデルは実際のGitHub課題を解決できるか? arXiv:2310.06770、v3(2024-11-11改訂)。— 要旨より、2,294件のタスクと1.96%という数値を確認。
- Husain, H. (2024-03-29). Your AI Product Needs Evals. hamel.dev/blog/posts/evals/。— ライブ投稿からの逐語引用(2026-09-11閲覧): "almost always share a common root cause: a failure to create robust evaluation systems"(訳:「ほとんどすべての失敗したLLMプロダクトは、堅牢な評価システムの構築に失敗したという共通の根本原因を持つ」)。
- Anthropic (2026-01-09). Demystifying evals for AI agents. anthropic.com/engineering。— ライブ投稿からの逐語引用: "a test for an AI system: give an AI an input, then apply grading logic to its output to measure success"(訳:「AIシステムのテスト:AIに入力を与え、その出力に採点ロジックを適用して成功を測定する」)、および "Automated evals are especially useful pre-launch and in CI/CD, running on each agent change and model upgrade as the first line of defense against quality problems."(訳:「自動化された評価は、リリース前やCI/CDにおいて特に有用であり、各エージェントの変更やモデルのアップグレードごとに実行され、品質問題に対する最初の防衛線となる」)。
- OpenAI. Evals. github.com/openai/evals。— 2026-09-11にリポジトリを参照。要旨を記述、引用はなし。
- Angulo, J., Yeste, V., Espinos-Morato, H. (2026). ベンチマーク汚染:各種緩和策を突破する分類法。 arXiv:2608.29463、2026-08-29投稿。— arXiv要旨からの逐語引用: "Leaderboards publish the model and the score, so capability and leakage stay observationally equivalent"(訳:「リーダーボードはモデルとスコアを公開するため、能力とリークは観測上区別がつかないままである」)。
- Verma, A., Saha, A. K., Subramanian, S., Aluru, S. H. (2026). AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling. arXiv:2608.26623(2026-08-27投稿)。— 77–82%帯およびルーブリック効果については要旨を参照。
- Purwar, A., Singh, S., Srivastava, K. (2026). Benchmarking LLM Judges for Voice-Agent Evaluation: Reliability, Calibration, and Human Oversight. arXiv:2608.24314(2026-08-25投稿)。— 要旨を参照。
- Ryu, D., Lee, J., Hwang, Y., Bak, J. (2026). When Noise Fabricates Bias: The Fragility of LLM-as-a-Judge Bias Measurement under Noisy Text. arXiv:2609.11067(2026-09-10投稿)。— 120倍の非対称性について要旨を参照。
- Wang, Z., Gu, L., Chi, Z. 他(2026)。Benchmarking LLM Judges for Mobile Agent Evaluation. arXiv:2608.11434(2026-08-11投稿)。— 要旨を参照。本エピソードの「what moved」期間から1日外れているため、その旨明記。
- Goodhart, C. A. E. (1984). Problems of Monetary Management: The UK Experience. In Monetary Theory and Practice(Palgrave, London)link.springer.com。— 1975年の論文を再掲。ペイウォールのため要約のみ、引用なし。
- Strathern, M. (1997). “Improving ratings': audit in the British University system.”(訳:「評価向上」:英国大学制度における監査) European Review 5(3), 305–321. doi:10.1017/S1062798700002660。— このスローガン(一般にGoodhartに帰される)の出典。ペイウォールのため要旨のみ参照、引用はなし。
- Landis, J. R., Koch, G. G. (1977). The Measurement of Observer Agreement for Categorical Data.(訳:カテゴリー型データにおける観察者間一致度の測定) Biometrics 33(1), 159–174. doi:10.2307/2529310。— カッパ値の慣例的な区分の出典。ペイウォールのため要旨のみ参照、引用はなし。
- Feng, Y., Xiang, Z., Yang, C., Ma, Q. (2026). Graph Engineering in the Era of LLM Agents: From Individual Intelligence to System Intelligence.(訳:LLMエージェント時代のグラフエンジニアリング──個の知能からシステム知能へ) arXiv:2608.21156v2、2026-08-26改訂。— 今シーズンが一段追加した五層ラダーの出典。
- Dhage, S. (2026). Harness Engineering for Predictable Agentic Systems.(訳:予測可能なエージェント型システムのためのハーネスエンジニアリング) arXiv:2608.26197、2026-08-25。— エピソード1の中心となる測定値(空の回答で決定性1.000となる指標)としてここで引用。
- Wu, P. J. (2026-08-06). One Opinion Wearing Ten Hats.(訳:十の帽子をかぶる一つの意見) futuremake.io。— 自著:パネルはスコアリング関数であり、スコアリング関数は外部基準で較正されるか、未較正とラベルされる。
- Wu, P. J. (2026-08-21). The Rubric That Could Not Fail.(訳:失敗できなかったルーブリック) futuremake.io。— これは自作の公開記事であり、「23点満点中23点」というスコア自体がバグだったこと、そして本当に正直な25/28点を出した敵対的な基準について書いている。
- Wu, P. J.(2026-07-23)。Verify Your Verifier. futuremake.io。— これは自作の公開記事であり、本エピソードの不変条件(インバリアント)がどこから来ているか、すなわち「主張は、その引用が解決され、証拠が主張の強度を裏付けている場合にのみ検証済みとなり、そうでなければ未証明に落ちる」というハーネスのルールについて書いている。
- Wu, P. J.(2026-09-11)。Lab 06 — The truth function: judge drift and pass^k、および
the-report-cardとthe-audit-bench. gist.github.com/wjlgatech/752a9450…。— NotebookおよびProjectsセクションに記載されたすべての数値は、2026-09-11に実行されたこれらのランから得られたものである。