Paul Jialiang Wu agentic-portfolio English 中文 Español 한국어✉️ 無料リスト
← ポートフォリオへ戻る

AI-Nativeシリーズ · エージェントエンジニアリング比較:プロンプト・コンテキスト・ハーネス・ループ・グラフ

評価エンジニアリングは「真理を決める関数」であり、リーダーボードそのものではない

全6回の最終回。これまでの5回は毎回「決定性1.000」「リーケージゼロ」「封筒外呼び出しゼロ」などの数字で締めくくられてきた——だが、そのすべては誰にも監査されていないグレーダーから出てきたものだ。この回は「グレーダーを評価する層」にあたり、なぜ6段目がこれまで空白だったかの理由でもある。

執筆:Paul Jialiang Wu · futuremake.io · 2026-09-11 · 全6回のうちの第6回

Cover: white ground with a black left rail. Eyebrow AGENT ENGINEERING SERIES · EPISODE 6 OF 6 · EVALUATION ENGINEERING above the serif title Evaluation Engineering Is the Truth Function, Not a Leaderboard, then two grey lines: How to tell whether your agent is actually good — and how to check the grader that told you, before you trust its number. A band headed SIX WAYS TO SHAPE AN AGENT, OLDEST TO NEWEST — THIS EPISODE IS RUNG 6, then a row of six boxes labelling the rungs oldest to newest: 1 PROMPT the words you send, 2 CONTEXT what it can see, 3 HARNESS what it can do, 4 LOOP how it self-corrects, 5 GRAPH how agents coordinate, 6 EVALUATION what counts as right (highlighted black). Below, three cards: WHO IT'S FOR — AI engineers, founders, executives, investors, high-school builders; YOU LEAVE WITH — a free Colab lab (no API key) + 2 apps built from nothing; THE FINDING — same 800 runs, 100 stub tasks: pass@8 0.99 · pass^8 0.03. Footer: Paul Jialiang Wu · futuremake.io.
シリーズ第6回:評価エンジニアリング——他のすべての層が依存する基盤——そして1つのエージェントの800回実行が、報告方法の違いだけで0.99にも0.03にもなった理由。

1分でつかめる要点——この記事で得られるもの

この記事の位置づけAIエージェントを作る6つの技法を比較してきたシリーズの最終回。プロンプトエンジニアリング(送る言葉)、コンテキストエンジニアリング(見せる情報)、ハーネスエンジニアリング(できることの枠)、ループエンジニアリング(自己修正の仕組み)、グラフエンジニアリング(複数エージェントの連携)、そして評価エンジニアリング(何を「正解」とみなすかを決める層)。今回は、2022年のHELMから先月のジャッジベンチマークまでの評価エンジニアリングの歩み、主導するプレイヤー、そして測定を生き残る原則を扱う。

なぜこれが重要なのか AIシステムについて語られるあらゆる数値——正確度、決定性、パス率、「評価がグリーン」——は、すべてグレーダーの出力である。しかし、そのグレーダー自体を測定する人はほとんどいない。今回のラボでは、あるジャッジがCohen's kappaで 0.585 を80件のホールドアウト項目の人間ラベルと比較して記録し、0.899 さらに2つの簡単な修正を加えただけでジャッジ自体は変えずに、あるエージェントの800回の実行結果が pass@8 = 0.99 か pass^8 = 0.03 と、報告ルールひとつで真逆になる。創業者にとっては指標と返金の分かれ目、エンジニアにとっては今日中に設置できるゲートだ。

この記事を読んだあとにできること 自分のエージェントの出力20件を手でラベル付けし、グレーダーがどれだけ自分と一致するかを測ってから、その評価を信用すべきか判断せよ。Colabノートブック(APIキー不要・標準ライブラリのみ)と、ゼロから作った2つのアプリが手に入る。ひとつは、グレーダーが「68%連続達成」と主張したが実際は違った習慣トラッカーのレポートカード。もうひとつは、未測定の項目をパス扱いしたときにCIゲートがビルドを落とす監査ベンチだ。

Season 7 — シリーズの背骨
  1. プロンプトエンジニアリング——呪文ではなく仕様 第1話
  2. コンテキストエンジニアリング——予算で考える、ウィンドウを広げる話ではない 第2話
  3. ハーネスエンジニアリング――エンベロープであってエージェントそのものではない 第3話
  4. ループエンジニアリング——再試行ではなく外部の判定者 第4話
  5. グラフエンジニアリング —— 配役ではなくスケジュール 第5話
  6. 評価エンジニアリング——リーダーボードではなく「正しさ」を決める関数 この回

この記事で扱う内容、そしてなぜ評価エンジニアリングが六つ目の層なのか

今シーズンでは、AIエージェントを作るための6つの分野を比較してきた。5つは最初から名前があり、年代も特定できる——プロンプト(2020年)、ループ(2022年)、グラフ(2023年)、ハーネス(2024年)、コンテキスト(2025年)。Fengら(arXiv:2608.21156)は「何を制御できるか」で順序付けている——プロンプト、コンテキスト、ハーネス、ループ、グラフ——これが今シーズンの話の順番だが、各分野の画期的な年とは一致しない。6つ目の層は、??? 第1話からずっと表の空欄として残されていた。

[DESIGN] なぜそうなっていたか、ここで一度だけ説明しておく。エピソード1が2026-09-03に公開されたとき、外部レビュアーから「開いたままの第6層は評価エンジニアリング——他のすべての層が“改善したか”を判断するために頼る真偽判定の仕組みであり、その背後にはガバナンス・経済・組織があるべきだ——という提案があった。エピソード1ではそれを候補として記録し、最終判断は私に委ねられた。議論していない層に名前を与えるのは、このシリーズが避けるために存在している「リスト化」的な態度だからだ。今や議論が成立したので、ここで宣言する:6つ目の層は評価エンジニアリングである。無名のままだったのは、分野は下の層を打ち破って初めて自分の行を得るものであり、それを示すには下の層が先に存在していなければならないからだ。

各話では、その層について4つの問いを立ててきた:どこから生まれたか、何を制御できるか、誰が推進しているか、どんな失敗が次の層への移行を促すか。この最終話には5つ目の問いが加わる——だからこそ付録ではなく締めくくりになる:これまでの5つが本当に機能していたと、あなたに教えてくれたものは何だったのか?

Table titled THE SIX DISCIPLINES — WHAT EACH CONTROLS · WHO LANDMARKED IT · WHERE IT BREAKS, with columns Discipline · landmark year, What you control, Landmark sources (who · when), and Primary failure. Rows: 1 Prompt engineering, 2020, episode 1 — the words you send: instructions, examples, the shape of the answer — GPT-3 few-shot OpenAI 2020, chain-of-thought Google 2022, DSPy Stanford 2023 — the model needs facts the words cannot carry. 2 Context engineering, 2025, episode 2 — what the model can see: retrieved docs, memory, tool results, budget — Anthropic engineering post 2025, Feng et al. survey 2026 — it sees the right facts and still cannot act. 3 Harness engineering, 2024, episode 3 — what it can do: tools, permissions, execution, validation, retries — Building Effective Agents Anthropic 2024, Weng 2026, Dhage measurement 2026 — one run is right and the next run differs. 4 Loop engineering, 2022, episode 4 — how it corrects itself: measure, reflect, retry, improve — self-consistency Google 2022, Reflexion 2023, Feng et al. 2026 — one agent's capacity is the bottleneck. 5 Graph engineering, 2023, episode 5 — how many agents coordinate: roles, edges, schedule — AutoGen Microsoft 2023, LangGraph 2024, Feng et al. survey 2026 — the system must learn from what came back broken. 6 Evaluation engineering, 2022, this episode, highlighted with a grey band and a black left bar — what the whole system learns from what came back wrong — HELM Stanford 2022, LLM-as-a-judge LMSYS 2023, AI Agents That Matter Princeton 2024 — the eval itself gets gamed (Goodhart).
シリーズ全体を1枚の表にまとめ、6つ目の層が初めて名前を持った。画期的な年は各分野を「名指し」できるようにした出典を示し、用語の命名年ではない。すべての出典は参考文献に記載してある。

想定する読者 CIが「グリーン」でもユーザーが納得しないAIエンジニア。ベンチマークの数値を資料に載せようとしている創業者。お金を扱うエージェントに最終承認を出す経営層。「eval」とは何かを知りたい高校生ビルダー。前提条件:一度でも数値を信じたことがある人。

評価エンジニアリングはどこから生まれ、誰が推進しているのか

[DEF] evalとは、Anthropic自身の定義によれば、"a test for an AI system: give an AI an input, then apply grading logic to its output to measure success"(訳:AIシステムのためのテスト:AIに入力を与え、その出力に採点ロジックを適用して成功を測定する)——この定義が正しいのは、採点ロジックをevalの“内部”に組み込んでいるからであり、“横に”置いていないからだ。内部 に評価ロジックを組み込む点が本質であり、単に横に添えるのではない。評価エンジニアリング とは、その評価ロジックを信頼できる形で設計し、そのロジック自体を測定・検証する技術領域である。ここを素通りする人がほとんどだ。

時期転換点推進者何がどう変わったか
2022-11HELM:言語モデルの包括的評価 (arXiv:2211.09110)Liang ら(Stanford CRFM)これ以前は、モデルはコアシナリオの平均17.9%しか評価されていなかったが、以降は標準化された条件下で96.0%がカバーされ、精度だけでなく7つの指標で測定されるようになった。評価がインフラになった瞬間である。
2023-06LLM-as-a-Judgeの評価 (arXiv:2306.05685)Zheng ら(LMSYS / UC Berkeley)強力なモデルは自由記述の回答をほぼ人間並みの一致率で採点できる一方、位置・冗長さ・自己強化といったバイアスを持ち、これらは測定も緩和も可能であることが示された。グレーダー自体が研究対象となった。
2023-07大規模言語モデルの評価に関するサーベイ (arXiv:2307.03109)Chang ら評価対象・評価場所・評価方法という三つの軸で分野を整理し、何を 評価するか、どこで、どこで。評価は「何を」「どこで」「どのように」測るかで整理され、評価そのものを独立した専門領域とすべきだと主張している。
2023-10SWE-bench(arXiv:2310.06770)Jimenez ら(Princeton)実際のGitHubイシューから2,294件のタスクを集め、リポジトリ自身のテストが通るかどうかで判定。類似度スコアではなく実行オラクルを採用。その日の最良モデルでも1.96%しか解けなかった。
2024-03Your AI Product Needs Evals (hamel.dev)Hamel Husain実務家の必読記事。失敗したLLMプロダクトは"almost always share a common root cause: a failure to create robust evaluation systems"(訳:ほぼ常に共通の根本原因がある——堅牢な評価システムの構築に失敗していることだ)。その処方箋は、ユニットテスト→人間とモデルの評価→A/Bテストという三段階の階梯である。
2024-06τ-bench(arXiv:2406.12045)Yao ら(Sierra)pass^k(pass^k)を導入。k回すべてで解けた場合のみ合格とする。1回でも通れば合格という基準は、現実には誰もデプロイできないエージェントを過大評価していたため。
2024-07AI Agents That Matter (arXiv:2407.01502)Kapoor ら(Princeton)コストは指標に含めるべきであり、ホールドアウトセットはしばしば不十分か、そもそも存在しないことも多い。ベンチマークと実運用では求められるものが異なる。現行のエージェント評価に対する最も引用される批判。
2023–26OpenAI Evals(github.com/openai/evals)と、公開アリーナ(lmarena.ai)OpenAI、LMSYS / LMArenaEvalsは「テストを登録できるフレームワーク」と「ライブのクラウドソース型ランキング」という形で、実際に現場で使われる仕組みになった。どちらもGoodhartの法則が顔を出す現場でもある。
2026-01Demystifying evals for AI agents (anthropic.com/engineering)AnthropicEvalsは論文のためのものではなく、CI(継続的インテグレーション)の一部として運用されている:"Automated evals are especially useful pre-launch and in CI/CD, running on each agent change and model upgrade as the first line of defense against quality problems."(訳:自動化された評価は、リリース前やCI/CDにおいて特に有用であり、各エージェントの変更やモデルのアップグレードごとに実行され、品質問題に対する最初の防衛線となる。)
2026-08ジャッジのベンチマーク(arXiv:2608.26623)と、コンタミネーション(混入)分類(arXiv:2608.29463)Vermaら、Anguloら掲載3週間前の最新動向:いまやジャッジ自体がベンチマークされ、混入は「どの緩和策を突破するか」で整理されるようになった。

[DESIGN] ここであえて挙げなかったものがある——リーダーボードだ。グレーダーもエージェントと同じ階段を登ってきた。完全一致、類似度スコア、実行オラクル、モデル判定——カバレッジを広げるたびに確実性は下がる。リーダーボードはあくまで出力であり、本質はその裏で動く仕組みにある。スクリーンショットが残るのはこのうち一方だけだ。

今この分野を動かしているのは誰か 批判を担うのは学術コミュニティ——Princeton(Kapoor, Narayanan, Jimenez)、Stanford CRFM、LMSYS/LMArena。現場での実装はラボが主導している。AnthropicはevalsをCIの一部として運用し、OpenAIはテスト登録用のフレームワークを提供している。そして最新の層は「グレーダーそのもの」を主題とする急成長中の研究分野——AgentJudgeBench、音声エージェントやモバイルエージェントのジャッジ評価研究だ。2年前には存在しなかった分野であり、この層が現実のものとなったことの何よりの証拠である。

頭の中のイメージ:リコールログ

このシリーズで繰り返し使ってきた一枚の図がある。今回がその最後だ。料理人はみな同じ階段を登る——自分、家族、レストランの厨房、ファストフードチェーン、複数チェーンを束ねる国家規模のサプライチェーン——AIエンジニアも同じ構造を辿る:学校の学習者、ジュニア開発者、シニア開発者、AIテックリード、CTO、そしてフロンティアリーダー。第一層はレシピカード、そして第六層がリコールログ.

全国規模の食品システムは、問題のなかった皿からは何も学ばない。学びが生まれるのは、何かが「戻ってきた」時――人を病気にしたバッチや、ラベルと違う油を使ったサプライヤーなどだ。リコールログこそが、システム全体が出した数字を「それは誤りだ」と唯一宣言できる記録である。

そしてこのログには、誰もが歓迎しない特徴がある。リコールログが空である場合、その意味は2つしかなく、良いのはそのうち一つだけだ。食品が本当に安全か、あるいは誰も検査していないか。そのどちらかであり、ログの中から見れば両者は区別がつかない――だからダッシュボードが緑でも、それ自体は証拠にならない。

段階キッチンあなたの役割どこまで手を加えられるか
1. プロンプトレシピカード――自分のための料理学習者料理人が拠り所にする書かれた手順
2. コンテキストパントリー――家族のための料理ジュニア開発者作業中にカウンターや冷蔵庫にあるもの
3. ハーネスレストランの厨房シニア開発者各ステーション、手の届く道具、すべての皿をチェックするパス
4. ループファストフードチェーンAIテックリード味見し、測定し、修正し、その修正を全店舗に展開する
5. グラフ全国規模のサプライチェーンCTO複数のキッチンを一つのスケジュールとトラック群で動かす
6. 評価リコールログフロンティアリーダー食品システム全体が、不良品として戻ってきたものから学ぶ知見

軸は一つではなく二つある。 どのキッチンでも六つの層が同時に働いている。家庭の料理人にもレシピカードがあり、パントリーがあり、コンロがあり、味見があり、仕入れ先があり、そして誰かが体調を崩した料理の記憶がある。上に進むほど変わるのは、どれだけ多くの層に手を伸ばせるか、そしてそれぞれの層をどれほど厳密に運用するか。最初は勘、次に測定、ゲート、そして自己修正へと成熟していく。六つの専門領域は層(自分が制御できるもの)、シニアリティは成熟度(どう運用するか)だ。評価がグラフより高度というわけではない。キャリブレーション済みのゴールデンセットを持つ三ノードのグラフのほうが、デモだけで評価している四十エージェントのトポロジーより成熟している。特にここで強調したいのは、他の層では洗練されているチームほど、評価だけは成熟度ゼロで運用しがちだという点だ。

この比喩は主張の導入には使えるが、証拠にはならない。本質は下の1:1対応マップにある。

語彙とその出典の対応付け

[DEF] ここで重要なのは四つの単語だが、そのうち三つはしばしば逆の意味で使われている。

[OPEN] あえて定義しないフレーズがある:「the eval passed(評価に合格した)」。どのゴールデンセットを、何で採点し、どう報告し、どのkで、そして人間との一致度はどれか——この5つを明示しない限り、参照先は存在しない。5つを答えればこのフレーズは不要だし、答えなければこのフレーズがその事実を隠すだけである。

主張の分類

[DEF] 評価エンジニアリングは「真理関数」である。他のすべての層が自分について主張する内容は、この層の出力として現れる。つまり、システムの精度はグレーダーの精度で上限が決まる——ものさしの誤差が測定値の誤差を決めるのと同じ理屈だ。

[EVIDENCE] 3つの公開された測定が、それを3方向から具体的に示している。

一つ目——グレーダーにはバイアスがあり、その重みも測定されている。 Zhengら(arXiv:2306.05685, v4)は"the usage and limitations of LLM-as-a-judge, including position, verbosity, and self-enhancement biases, as well as limited reasoning ability"(訳:LLMをジャッジとして使う際の使い方と限界——位置バイアス、冗長性バイアス、自己強化バイアス、そして限定的な推論能力——を含む)そして、良い側面もきちんと測定された。優れたジャッジは"can match both controlled and crowdsourced human preferences well, achieving over 80% agreement, the same level of agreement between humans."(訳:管理された環境でもクラウドソースでも人間の好みにしっかり一致し、80%超の合意率を達成できる。これは人間同士の合意率と同水準だ。)。この「ペアで測る」こと自体が発見である。ジャッジは人間と同等の精度を持ち、どちらの答えを先に見せるかで判定が揺れる。前半だけを鵜呑みにしたチームは、測定されていない計測器にブランドだけを与えて使っているのと同じだ。

二つ目――レポートのルールは、ほとんどのモデルアップグレードよりもはるかに大きな自由度を持つ。Yaoら(arXiv:2406.12045)は、最先端の関数呼び出し型エージェント(抽象名gpt-4o)が"succeed on <50% of the tasks, and are quite inconsistent (pass^8 <25% in retail)"(訳:タスクの半分未満しか成功せず、一貫性もかなり低い(pass^8はリテールで25%未満))ことを示し、pass^kを提案した。これで「一度でも成功すればOK」という甘い評価ができなくなった。pass@8とpass^8でエージェント自体は一切変わらない。変わるのは、同じ試行に対してどの問いを立てるかだけだ。

三つ目――ベンチマークは、あなたが本当に知りたいものから静かにずれていく。Kapoorら(arXiv:2407.01502)は、この三つの中で最も居心地が悪い。なぜなら、彼らの指摘はどれもモデル自体の話ではないからだ。そこには"a narrow focus on accuracy without attention to other metrics"(訳:他の指標を無視し、精度だけに狭く集中している)という問題があり、その結果、"SOTA agents are needlessly complex and costly, and the community has reached mistaken conclusions about the sources of accuracy gains."(訳:SOTAエージェントは無駄に複雑かつ高コストで、コミュニティは精度向上の要因について誤った結論に至っている。)。そして最も深刻なのは、"many agent benchmarks have inadequate holdout sets, and sometimes none at all"(訳:多くのエージェントベンチマークはホールドアウトセットが不十分で、時には全く存在しない)ことであり、これが原因でエージェントは"fragile because they take shortcuts and overfit to the benchmark in various ways."(訳:さまざまな抜け道でベンチマークに過剰適合し、脆弱になる。)

[DERIVATION]。この三つを合わせると、このエピソードが存在する理由となるルールが見えてくる。報告されるスコアは単なる一つの測定値ではなく、三つの要素の合成物だ――エージェントのふるまい, ジャッジが人間とどれだけ一致したか、そして繰り返し試行に対するレポートのルールである。あなたが見せられるのは最初の一つだけで、それが全てだと思い込まされる。エージェントを5%改善しても、ジャッジを何も変えなければ、スコアはどれだけ・どちらに動いたか誰にも分からない。

先月のコンタミネーション分類もリーダーボード側から同じことを言っている。ベンチマークスコアは、モデル、ハーネス、エリシテーション予算、サンプル母集団、コンタミネーション状態という五つの要素の合同事実であり――"Leaderboards publish the model and the score, so capability and leakage stay observationally equivalent"(訳:リーダーボードはモデルとスコアを公開するため、能力とリークは観測上区別がつかないままになる)(arXiv:2608.29463)。5つある入力のうち、公開されるのは2つだけだ。だからこそ、この回のタイトルはこうなっている。

Diagram headed EVERY LAYER BORROWS ITS TRUTH FROM THE SAME PLACE — AND THAT PLACE IS USUALLY UNAUDITED, in three columns. Left column, WHAT EACH RUNG CLAIMS: five grey boxes — 1 PROMPT 'determinism 1.000 at N=100', 2 CONTEXT 'stale-fact leakage is zero', 3 HARNESS 'no out-of-envelope calls', 4 LOOP 'no accepted step lowered the score', 5 GRAPH 'every path crossed the verifier'. Five arrows point right into the middle column. Middle column, WHERE THE CLAIM COMES FROM: one tall black box headed THE EVAL — THE TRUTH FUNCTION reading 'Every one of those five numbers is the output of a grader: a test, an assertion, a golden label, or a model asked was that right? Change the grader and all five numbers change. Nothing above this box can be more true than this box is. And the box itself is graded by nobody, unless you build it.' Three arrows leave it to the right. Right column, SO WHO GRADES THE GRADER?: 1 AGREEMENT — Cohen's kappa against labels a human wrote, gate at 0.60; 2 RELIABILITY — pass^k not pass@k, and report both never one; 3 COST — cost-controlled, or the board rewards spending money; then a white outlined box, 'None of the three? The honest label is UNCALIBRATED.' A bottom band headed MEASURED IN THIS EPISODE'S OWN LAB — STUB JUDGE, SEEDED, N=80 HELD-OUT ITEMS AND 100 TASKS holds three cards: AGREEMENT kappa 0.585 to 0.726 to 0.899, naive then swap the order then calibrate; RELIABILITY pass@8 0.99 and pass^8 0.03 on the same agent and same 800 runs; THE TWO ERRORS COMPOSE, a biased judge read pass^8 0.240 when the truth was 0.030. Footer: Paul Jialiang Wu · Intelligence Engineering Adventures, Season 7 Episode 6 · futuremake.io.
真理関数と、それを監査するための3つの問い。左側に並ぶ5つの主張は、過去5回それぞれの主役となった数字であり、いずれもブラックボックスの出力である。そして、そのブラックボックス自体は、右側の仕組みを自分で作らない限り、誰にも評価されていない。

1対1の技術的対応表

リコールログの各要素は、コード上で具体的に指し示せるものに1対1で対応している。

リコールログシステムどこに存在するか
不良として戻ってきたバッチ失敗したアイテムゴールデンセットの1行
「不良」とは何かを定義したファイル(バッチ出荷前に作成)ゴールデンラベル人間が書いた確定済みの基準データ
バッチが不良かどうかを判定する検査官ジャッジ(判定ロジック)テスト、アサーション、またはモデル呼び出し
一度も厨房を不合格にしたことがない検査官縮退したグレーダーパス率100%でκ = 0.000
同じ厨房を再訪する2人目の検査官一致度の測定人間ラベルとのCohenのκ
火曜日に訪問し、金曜日にもう一度訪れること位置を入れ替えて再判定両方の順序で判定し、スコアを平均する
検査官がどちらとも判断できないバッチ未測定の項目UNMEASURED — 除外、決して合格にはしない
8回中1回の不良品複数回試行での一貫性pass^k、ではなくpass@k
検査に最適化して学習するチェーンベンチマークへの過適合ホールドアウトセットなし(Kapoorら)
空のリコールログシグナルなし、あるいはテスト自体がないカバレッジ:測定済み ÷ 判定対象

[定義] この1行は独立した段落に値する——両プロジェクトの根幹であり、私自身の研究でもすでに運用している不変則だ。証拠がなければ「測定されていない」であり、決して合格を意味しない。判定不能な項目は、ギリギリの成功ではなく、情報が存在しないというだけだ。正直な記録は「第三の状態」として残すべきであり、その状態を持たないシステムは精度が上がることはない。報告者に都合よく、静かに寛大になるだけだ。

予測ゲート

スクロールする前に、まず自分の覚悟を決めてほしい。あなたのジャッジは、100項目中79項目で自分の手ラベルと一致している(キャリブレーション用の20項目を除外する前の全100項目セットで)。

Q1. そのときのCohenのカッパはおおよそいくつか?そして、79%の一致率は十分と言えるのか?

Q2. ジャッジ自体は何も変えず、すべての項目を2回見せる——一度は候補を先に、もう一度は候補を後に——そして平均を取る。カッパはどう変化し、100項目中いくつが順序によって判定が変わるか?

Q3. あるエージェントが、各タスクごとに成功確率0.25〜0.95で100タスクを8回ずつ実行する。大きい順に並べよ:pass@1、pass@8、pass^8。

Q4. あなたのジャッジが一定方向にバイアスしている場合、それはあなたの測定pass@8 か、それともあなたの pass^8 をより大きく歪めるか?

答えはFailure Roomにある。Q4が直感的すぎたなら、ノートブックのセル8に4分かけてみるといい。

Failure Room(失敗室)

意図的に壊してみよ。壊せない仕組みは、ただの主張にすぎない。

Failure 1 — 個々の誤判定の山の上に成り立つ「正しい」集計値。 ラボの素朴なジャッジは、ゴールデン0.510に対してパス率0.720を報告し、100件中79件で人間と一致した。どちらも一見まともに見えるが、カッパは0.576(全100件、ホールドアウト80件では0.585)で、その多くは偶然の一致だった。集計値は真実に近く見えても、その下の個々の判定が大きく間違っていることがある。そして、実際に出荷されるのはその個々の判定だ。合意率の数字が添えられていないパス率は、小数点付きの噂話でしかない。

Failure 2 — 何も落とせないグレーダー。 わざと作ったことがある。すべての項目にPASSを返すジャッジだ。パス率1.000、カッパはきっかり0.000。これは一度も厨房を落としたことのない食品検査官と同じで、完璧な記録だが、絶対にそこで食事してはいけない理由でもある。藁人形ではない。ダッシュボードが良く見えるまで閾値を調整したすべてのグレーダーの極限例だ。自分も書いたことがあるが、中から見ると進歩した気分になる。

Failure 3 — エピソード1の空の皿はいまだにメニューに載っている。 エピソード1は、{} を毎回返すエージェントで終わった。したがって再現率は1.000。5話後、その空の皿は今度はこのエピソードの監査ベンチも通過する。そしてベンチ自身のルールが理由を説明する:空の回答は決して判定不能なので、すべての項目が UNMEASURED に分類される。そしてこのフラグ make negative が拒否するために存在するのは、まさに UNMEASURED を分子に移動させるためだ。1つの {} はこれで6つの厨房を突破した。今季で最も成功したエージェントだが、一度も出力を出したことがない。どんな指標も、それを最大化する異常入力を許容する。そして防御策は決して「より良い指標」ではなく、その異常入力を破壊する第二の指標 である。決定性はタスク成功率の隣に。パス率はカッパの隣に。カバレッジはその両方の隣に。

Failure 4 — ひとつのバイアスを修正すると、別のバイアスが露呈し、退化に見えることがある。 このせいでラボを作り直す羽目になった。最初のバージョンは各項目のスロットをランダム化していたが、順序を入れ替えるとカッパが0.820から0.780に下がった(このビルドは破棄)。なぜならランダムな位置オフセットが冗長性オフセットを部分的に打ち消していたからだ。逆方向の2つの誤差は「正確さ」に見える。もし修正で指標が悪化したら、最初の仮説は 修正が間違っている ではなく、指標が第二の誤差によっておだてられていた、である。

Failure 5 — 検査に合わせて学習すること。 Goodhartの元々の主張(1975年、1984年再掲)は、統計的な規則性は制御目標になると崩壊するというものだ。多くの人が引用するキャッチーなスローガンはMarilyn Strathernによる1997年の大学監査に関する定式化である。どちらも有料壁の向こうなので、ここでは要旨のみ。エージェント規模での現象は実測済み:先月の分類法(arXiv:2608.29463)は、各汚染タイプがどの緩和策を突破するかで整理されており、プライベートテストセットは5つのうち最初の1つしか防げない。あなたのゴールデンセットも、誰かがそれを読んでからエージェントを書くその日から同じ病気にかかる。

解答。 Q1: κ ≈ 0.58 —— 79%の一致率は十分とは言えない。コイン投げでも約50%は偶然で一致してしまうからだ。Q2: カッパは全100件のセットで0.780まで上昇する(このエピソードの他の部分で報告している80件のホールドアウトでは0.726)。100件中50件 が順序を入れ替えると判定が変わる。つまり、採点対象の半分は座席順(表示順)で結論が左右されていた。Q3: pass@8(0.99)>pass@1(0.57)>pass^8(0.03)。Q4: pass^kは特に大きく影響を受ける——k回すべてでANDを取るため、固定方向のバイアスは平均化されずに累積する。長さバイアスのあるジャッジは、真の値が0.030のときpass^8を0.240と判定した。

ノートブック

Lab 06 —— 真理関数:ジャッジのドリフトとpass^k Open In Colab

06_eval_truth_function.ipynb・Colab無料枠APIキー不要・標準ライブラリのみ・シード済みSEED=20260911・CPUで約2秒・全セルは公開前に実行済み。gistには両プロジェクトも収録:gist.github.com/wjlgatech/752a9450…

全9セル。実行する意義を生む設計は、ジャッジが返すのがスコアであり、判定(verdict)ではない点にある。バイアスは加算オフセットとして加わる。これは教育用の単純化ではなく、各修正の影響を特定できるようにするためだ。名前を付けられるオフセットは、相殺して残差を確認できる。

  1. Cohenのカッパは、答えが既知の2入力で検証した:恒等(1.000)と独立なコイン(−0.046、単純一致率47.7%)。
  2. ゴールデンセット:隠れた品質・人手ラベル・長さとスロットという2つの性質を持つ100件——品質とは独立設計上.
  3. ジャッジ:位置バイアス±0.30、冗長性±0.12、ノイズ±0.08。ナイーブな判定κ 0.576で、ゴールデン0.510に対しパス率0.720。
  4. 順序入れ替え再判定。 両方の順序で採点し平均を取る:オフセットは片方で+d、もう片方で−dとなり、正確に相殺される。100件中50件の判定が順序を入れ替えると反転し、κは全100件で0.780(80件のホールドアウトでは0.726)まで上昇する。冗長性バイアスにはあえて手を加えていない——この残差が、修正が的確だった証拠である。
  5. キャリブレーション用セット——20件の手作業ラベル付きアイテム。訓練には使わず、ゴールデンラベルを固定したまま長さバイアスを推定する用途:真値+0.240に対して+0.259。
  6. 同じ80件のホールドアウトアイテムに対し、ゲート適用下で三つの評価体制を比較。
  7. pass@kとpass^kの比較(k = 1, 2, 4, 8)——100タスクを各8回ずつ試行。
  8. 二つの誤差がどう重なるか:同じ試行を、バイアスなし・バイアスあり・キャリブレーション済みの各ジャッジで採点。
  9. グッドハートのセル:常にPASSを返すジャッジ、そしてエピソード1の{}エージェントがここで最後に登場する。

[EVIDENCE]このエピソードの根拠となる二つの表。どちらも実行時に出力されたものだ:

held-out items: 80   (the 20 calibration items are excluded)
judge                      kappa     agree  measured pass
naive, one pass            0.585     64/80          0.738
+ swapped position         0.726     69/80          0.475
+ calibration set          0.899     76/80          0.537
golden labels (truth)      1.000     80/80          0.537
  gate kappa >= 0.60: naive, one pass        FAIL  (0.585)
  gate kappa >= 0.60: + swapped position     PASS  (0.726)
  gate kappa >= 0.60: + calibration set      PASS  (0.899)

100 tasks, k=8 trials each, per-task success probability drawn in [0.25, 0.95]
  k    pass@k    pass^k       gap
  1     0.570     0.570     0.000
  2     0.750     0.360     0.390
  4     0.900     0.120     0.780
  8     0.990     0.030     0.960

二手だけで、ジャッジ自体は一切変えずにκが0.585から0.899へ跳ね上がる。下段:同じエージェント、同じ800回の実行でも、報告ルール次第で0.990にも0.030にもなる。どちらも事実だが、実際に使う人間が体験するのは一方だけだ。

Figure headed TWO NUMBERS THE LAB PRINTED — AND WHAT EACH ONE REFUSES TO LET YOU SAY, in two panels. Left, headed DOES THE GRADER AGREE WITH A HUMAN? — COHEN'S KAPPA, 80 held-out items, stub judge, seeded: three horizontal bars against an axis from 0.0 to 1.0 with a dashed vertical line labelled gate 0.60. The naive judge, one pass, is a pale bar at 0.585, ending left of the gate line. Plus swapped order, graded in both slots, is a mid-grey bar at 0.726. Plus calibration set, 20 hand-labelled items, is a black bar at 0.899. Caption below: the same judge, the same 80 answers; what changed is how it was asked, and only the last two rows may grade anything. Right, headed HOW OFTEN DOES IT WORK? — pass@k VS pass^k, 100 tasks, 8 trials each, 800 runs: two lines from a shared point at k=1, diverging across k=2, k=4 and k=8, with the shaded wedge between them. The upper grey line rises to pass@8 0.990; the lower black line falls to pass^8 0.030. Caption: solved at least once in k tries versus solved in ALL k, and the shaded wedge is the gap between a headline and a customer. A bottom band reads: both panels are the same warning — a number is not a fact about your agent, it is a fact about your agent AND the grader AND the reporting rule, and you are usually shown only one of the three. Footer: Stub judge, seeded (SEED=20260911), standard library only. The magnitudes are the simulator's; the shapes are the papers'. Paul Jialiang Wu.
左:安価な二手でグレーダーがゲート未満から大幅に上回るまで改善、ジャッジ自体は無変更。右:同じ800回の実行、二つの報告ルール、0.960の差。スタブジャッジ・シード固定。値の大きさはシミュレータ依存、分布の形は論文通り。

[DESIGN]なぜスタブでライブモデルではないのか。シミュレータはどこで誤差が入り、何がそれを除去するかを数秒で、無料・キー不要で再現できる。ただしできないのは値の大きさの再現だ。出力される数値はZhengらの80%一致やτ-benchのpass^8が25%未満といった実システムの実測値の証拠にはならず、論文のみが引用可能である。橋渡しは短い——judge_score()を任意のOpenAI互換エンドポイントへの呼び出しに置き換えても他は何も変わらない。測定コードは自分が何を指しているかを知らないからだ。

プロジェクト

標準ライブラリだけでゼロから二つのビルド。どちらもこの節を書く前に実行済みなので、すべての数値は予測ではなく実測値である。

プロジェクト1──実生活編the-report-card

p1_report_card.py · python3 p1_report_card.py

習慣トラッカーが毎日1行だけ記録し、それをジャッジが読んで「習慣を守ったか」を判定する。私は60日分を自分の手でラベル付けした。ここで問うべきなのは、自分のエージェントがどれだけ優秀か、ではなく、「自分のエージェントがどれだけ優秀か」と教えてくれたその判定自体が、どれだけ信頼できたのか、である。.

the-report-card - grading the grader of a habit tracker
  golden set        : 60 days labelled by hand
  calibration       : 10 days re-read, 50 days graded
  note-length offset: estimated +0.284, true +0.320

  grader                     kappa    gate   measured streak
  before calibration         0.572    FAIL             0.680
  + swapped batch order      0.797    PASS             0.400
  + 10-day calibration       0.960    PASS             0.440
  my own labels              1.000       —             0.460

[EVIDENCE] アプリは私が習慣を守った日数を68%日と判定した。実際に守ったのは46%日だった。判定は日数を間違えており、しかも私に都合の良い方向にズレていた。だから私は一度も疑問に思わなかった。私は「感じの良い丸め誤差」に自分で拍手していたわけだ。

この2つの歪みは、Zhengらが論文で指摘したバイアスの家庭版だ。トラッカーは新しい順に表示されるため、同じメモでもバッチの上にある方が下より高く評価される──位置バイアス。数字が含まれるメモ(例:「5.2km走った」)は、「ランニングした」だけのメモよりも、実際にやったかどうかに関係なく信頼性が高く見なされる──冗長性バイアス。10日分を手作業で再評価したところ、後者のバイアスは実測+0.320に対し推定+0.284だった。

プロジェクト2──企業編the-audit-bench

p2_audit_bench.py · make report · make gate · make negative

サポート解決エージェントが、人間が結果を書いた120件のチケットを採点する。24件はキャリブレーション用に取り分け、96件を実際に採点する。ハーネスはジャッジを鵜呑みにせず、その性能を測定し、数値を公開し、ジャッジが基準を満たさない場合や未測定の項目が合格扱いされた場合はビルドを失敗させる。

  kappa, single pass, raw   : 0.455   <- what a one-shot judge gives you
  kappa, calibration, before: 0.577   <- FAILS the 0.60 gate
  kappa, calibration, after : 1.000   on the 22 of 24 calibration tickets the harness could measure
  measured / unmeasured     : 80 / 16   (coverage 0.833)
      order-dependent               14
      inside the uncertainty band    2
  pass rate, measured only  : 0.500
  pass rate, if UNMEASURED were counted as passes: 0.583   <- the number the gate refuses

gate
  PASS  kappa on the calibration set >= 0.60         1.000
  PASS  coverage >= 0.70                             0.833 (80/96 measured)
  PASS  no UNMEASURED item is counted as a pass      0 leaked
  => green

[EVIDENCE] 0.500 と 0.583 を並べて比較する。ハーネスが測定できた80件のチケットでの正直な合格率は0.500、都合の良い合格率は0.583。違いは、16件の判定不能チケットを静かに合格扱いしたかどうかだけだ。8.3ポイントの差は、「三値型」を実装しない限り誰でも無料で得られる──嘘をつく必要すらなく、世界が三つの値を持つのに型が二つしかないだけ。

make gate は exit 0 で終了する。make negative は欠陥を再導入し、exit 1 を要求する:

gate  (negative test: unmeasured items deliberately counted as passes)
  FAIL  no UNMEASURED item is counted as a pass      16 leaked, first: TCK-1029, TCK-1034, TCK-1035
  => RED          # exit 1

一度も赤になったことのないゲートは、そもそもゲートが存在しないのと見分けがつかない──これは別のシーズンで私が身をもって得たルールであり、今や「計器を信用しない」ことが主題のベンチに組み込まれている。

30分で作れる──契約書

エンジニアが実装時に求める順で、ベンチに必要なものをすべて挙げる。入力は、人間が結果を書いたN件のアイテム。出力は、必ずこのいずれか一つ。PASS · FAIL · UNMEASURED。不変条件:証拠がなければ「未測定」とし、「合格」には絶対にならない。停止ルール:ゲートがビルドを失敗で止める。リトライはしない。

GOLDEN   = [(item, human_label), ...]        # a human wrote these, not the model
CAL, TEST = GOLDEN[:24], GOLDEN[24:]         # calibration is HELD OUT of the score

def verdict(item, offset):
    a = judge(item, candidate_first=True)    # score, not a verdict
    b = judge(item, candidate_first=False)   # the SAME item, other order
    a, b = a - bias(item, offset), b - bias(item, offset)
    if (a >= T) != (b >= T):      return UNMEASURED, "order-dependent"
    if abs((a+b)/2 - T) < BAND:   return UNMEASURED, "inside the band"
    return (PASS if (a+b)/2 >= T else FAIL), "two orders agreed"

offset = mean(score | long, label=g) - mean(score | short, label=g)   # over CAL, per g

# CI gate (make gate)
#   kappa(verdicts, human_labels) on CAL   >= 0.60   else UNCALIBRATED
#   coverage = measured / graded           >= 0.70   else vacuously green
#   UNMEASURED items counted as passes     == 0      (make negative proves it bites)
# any line below threshold -> exit 1 -> the build fails

意図的に省いているもの:ライブモデル(judge()を任意のエンドポイントに差し替え)、各アイテムごとの根拠、そして同点時に判定を分ける第三のジャッジ。最後のものは見落としではなく、意図的な選択だ——同点は情報である。これは「このアイテムはこのジャッジでは判定不能」という意味であり、UNMEASUREDが正直な記録となる。タイブレーカーを入れると「既知の未知」を「未知の既知」にすり替えてしまい、それはより悪い。

[DESIGN] この仕組みが単なるデモではなく、エンタープライズ向けの設計である理由は、次の4つの特性にある:

[OPEN] どちらのプロジェクトも証明していないこと。両方のゴールデンセットは合成データで、どちらのジャッジもスタブである。監査ベンチのカッパ1.000は22件のアイテム上で出ている——これは不確実性バンドが本来の役割を果たしているだけで、完璧なグレーダーという意味ではない。そしてn=22では、優秀と幸運の違いは判別できない。それこそが、このシーズンで2度警告した「スコープ外の1.000」そのものだ。現状は実行可能かつゲート付きであり、デプロイ済み・実運用で測定されたものではない。本当に意味のあるものにするには、実際の解決結果付きのライブキューからのチケット、そして二人目の人間ラベラー。つまり、人間同士のカッパ値が実質的な上限となり、1.000という暗黙の天井は消える。

同じ物語、出口は五つ

一本の軸に、読者ごとの出口。決断を一つ、行動を一つ。

あなたがこのエピソードで変わる判断今週やるべき一つの行動
高校生ビルダー「The eval passed」は、誰が採点し、どれだけの頻度でうまくいったかを明示しない限り、事実とは言えない。Colabラボを実行(2秒、APIキー不要)、任意のチャットボットの回答20件を自分でラベリングし、その自己採点とのカッパ値を計算せよ。
AIエンジニアエージェントの精度はグレーダーとの一致度で上限が決まるが、そのグレーダーは今まだ未測定だ。20件を手でラベリングし、カッパ値を測定し、上記の契約通りゲートをCIジョブの一つに追加せよ。
ファウンダーベンチマークの数字は三つの事実が一つのコートを着ている状態だ。お世辞の数字はタダ、本当の数字はゴールデンセットが必要。コアフローでpass^kとpass@kを並べてチームに聞け。誰もkを持っていなければ、それが発見だ。
エグゼクティブ信頼性は監査の問いだ:アイテムのうち何割が測定されたか、そして誰がラベルを書いたのか。次回の品質レビューで「カバレッジとラベラー間一致度」を精度の隣に加えよ。
投資家堀になるのはゴールデンセットとキャリブレート済みグレーダーであり、チームが借りているモデルやリーダーボードの行ではない。どのエージェント系スタートアップにも、人間ラベルとのカッパ値とpass^kを並べて尋ねよ。どちらか一方だけなら、それは演出にすぎない。

リアリティ・ミッション

自分が実際に運用しているAIシステムで、20分だけ手を動かす。

  1. 普段頼っているAIの出力をひとつ選ぶ。たとえば要約、ルーティング、コードレビュー、習慣トラッカーなど。
  2. そのAIが実際に出した出力を20件集め、自分の手でラベル付けする。このとき システム自身が付けたスコアや判定は一切見ないこと。合格か不合格か、自分で決める。
  3. 同じ20件について、システム自身の判定も取得し、Cohenのカッパを計算する(ノートブックのセル1で6行の計算で済む)。
  4. 20件のうち、自信を持ってラベル付けできなかった数を数える。それがカバレッジ(測定範囲)の問題だ。
  5. もしグレーダーがモデルなら、5件を両方の順序で見せて、判定がひっくり返った回数を数える。私のラボでは100件中50件が入れ替わった。

もしステップ2(自分でラベル付け)が一番難しかったなら、それこそが最大の収穫だ。つまり、あなたのチームには「正解」 という定義が人間の目を通しても生き残れる形で存在しておらず、他の5つの層をどれだけ積み上げてもそこは埋まらない、ということだ。

リサーチ・チャレンジ

この課題をエージェントに渡し、まず自分の予測を事前登録する。

出力の正誤が明確に判定できるタスク群をひとつ選び、2人が独立にラベル付けした100件のゴールデンセットを作る。報告内容:人間同士のカッパ(これが上限)、モデル判定者と各人間とのカッパ、さらに(a)順序入れ替え再判定、(b)20件のキャリブレーション補正、(c)その両方でのカッパの変化。次に、人間ラベルとモデル判定者それぞれについて、k=1,2,4,8でpass@kとpass^kを計算し、1件あたりの判定コストも記録する。

事前登録: 判定者のカッパが人間同士のカッパを上回るかどうか、また判定者の誤差がpass^kをpass@kより大きく動かすかどうか。

私の予測(実験前に記録):人間同士のカッパが上限となり、想定より低い値になる。判定者のバイアスはpass^kを何倍にも歪めるが、pass@kにはほとんど影響しない。もし逆の結果が出たら、それは設定のバグではなく、論文に値する意義ある不一致だ。

最近の動向

この層の現状(プレス時点)は、30の先駆的な情報源を毎週ライブで同期して集めたフィードからまとめている。research-anything (make watch-sync技術的なシグナルの強さで順位付けし、決してオーディエンス規模では並べない。各項目は同期日にアブストラクトページから取得した。

同期日:2026-09-11。

[OPEN]変わっていないのは——キャリブレーション済みジャッジが実運用システムの結果をどれだけ変えるかを測定した公開研究は見当たらなかった。上記のすべての結果は、ジャッジとラベルの一致を測っているだけで、ジャッジが誤った場合に実際のアウトカムがどう変わるかは測定されていない。これが本エピソードのResearch Challengeで指摘したギャップであり、文献調査では埋められなかった。実運用システムのアウトカム。上記のすべての結果はジャッジとラベルの一致しか測っておらず、ジャッジが誤った場合の実際の影響は測定されていない。これが本エピソードのResearch Challengeで指摘したギャップであり、文献からは埋められなかった。

出口テスト

スクロール禁止。

  1. 6つの層を順に挙げ、なぜ6層目だけが5話分名前がなかったのか、その理由も説明せよ。
  2. あなたのグレーダーは100件中79件であなたのラベルと一致した。それだけではなぜ十分でないのか、そして本当に必要な数値は何かを答えよ。
  3. ベンチマークスコアが示す「事実」は三つの要素の合同で成り立つ——エージェントのふるまい、グレーダーの人間との一致度、そして繰り返し試行に対する報告ルールだ。だが、たいてい見せられるのは最初の一つだけである。
  4. 判定が常に同じ方向に偏るジャッジバイアスは、pass^k(すべて成功)ではk回すべてにその偏りが掛け算で効くため、pass@k(少なくとも一度成功)よりもはるかに大きく測定値を歪める。
  5. ジャッジが判定不能な項目は「未測定」として記録すべきだ。それ以外——たとえば「成功」や「失敗」として扱う——は、情報の欠如を事実のように見せかけ、指標を静かに甘くする。
  6. すべての入力に「成功」と返す縮退入力は、どんな指標でも最大値を叩き出す。だが、例えばカッパ係数のような「一致度」指標を並べれば、その縮退入力は即座に破綻する。

次回予告——そして今シーズンの幕引き

日曜に自分でゴールデンセットを作り、手でラベル付けする。ジャッジは0.899を返し、ゲートは余裕で通過。ベンチをCIに組み込み、ネガティブテストが赤になり、やがて緑になるのを見届ける。その午後だけは「これでキッチンは制覇した」と思える——だが、これこそが今シーズンが何か崩れる直前に鳴る音である。

だがそのとき、あなたの六層スタックでは答えられない問いが投げかけられる——そもそも、このエージェントはそれをやってよかったのか?

「正しくやったか」ではない——その問いにはどの層も答えられる。問われているのは、その行為が許されていたかどうか。誰が、どんな権限で、どこに記録されたのか。カッパがいくら優秀でも、そこには何も言えない。なぜなら、較正済みのグレーダーは「答えがラベルと一致したか」しか教えてくれず、「そもそもそのラベルが目標でよかったのか」には沈黙するからだ。

これは「層」ではなく「継ぎ目」——次のエピソードではなく、次元の異なる問いである。ガバナンスこそが評価の次に来る最有力候補だ。ゴールデンセットを誰が変更できるか、ゲートの上書きに誰がサインするか、エージェントの行動時にどんな監査証跡が残るか——その次が経済、さらに組織。将来のシーズンの候補として、エピソード1が今回使った登録簿に記録されている:記録だけして、議論は後日、約束は決してしない。

シーズンの本当の締めはもっと小さい。六層を一文ずつ、毎回同じ形で:プロンプトは仕様、コンテキストは予算、ハーネスは封筒、ループはレフェリー、グラフはスケジュール、評価は真理関数である。どれも呪文ではない。六つすべてが書き下せるものであり——最後の一つだけが、他の五つが書く価値があったかを教えてくれる。次はそこから始めよ。誰もが最後に作る層であり、他のすべてがその上に立っていた。

次に読むべき記事

第6話:インテリジェンス・エンジニアリング・アドベンチャーズ シーズン7 — キッチンの階段そして今シーズンの締めくくり。シリーズの出典では、主張ごとに定義・導出・証拠・設計上の選択・未解決問題のクラスがタグ付けされている。比喩は主張の導入には使えても、証拠にはならない。各話には、無料枠・APIキー不要のColabノートブックと、ゼロから作った2つのアプリ(個人用・エンタープライズ型)が付属する。5段の階梯はFengら(arXiv:2608.21156)によるもので、私の独自案ではない。第6段はここで初めて命名された。2026-09-05に外部レビュアーが提案し、第1話でオープン候補として記録されていた。「what moved」セクションは、技術的な信号で順位付けされ、決してオーディエンス規模ではない、30の先駆的なソースのライブ週次フィード同期から生成されている。本記事には、雇用主やクライアント由来の素材は一切含まれていない。— Paul Jialiang Wu · futuremake.io

参考文献

  1. Kapoor, S., Stroebl, B., Siegel, Z. S., Nadgir, N., Narayanan, A. (2024). AI Agents That Matter. arXiv:2407.01502、2024-07-01投稿。— arXivアブストラクトページより逐語引用(2026-09-11閲覧):精度への狭い注目、ベンチマークニーズの混同、不十分なホールドアウトセット。
  2. Zheng, L., Chiang, W.-L., Sheng, Y. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685、v4 2023-12-24改訂。— arXivアブストラクトページより逐語引用:3つのバイアスと80%超の合意率。
  3. Yao, S., Shinn, N., Razavi, P., Narasimhan, K. (2024). τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv:2406.12045、2024-06-17投稿。— arXivアブストラクトページより逐語引用:pass^k、およびリテール領域でのpass^8が25%未満。
  4. Liang, P., Bommasani, R., Lee, T. et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110、v2 2023-10-01改訂。— 17.9%→96.0%のシナリオカバレッジと7つの指標についてアブストラクトを参照。
  5. Chang, Y., Wang, X., Wang, J. et al. (2023). 大規模言語モデルの評価に関する調査。 arXiv:2307.03109、v9(2023-12-29改訂)。— 要旨を参照し、「何を・どこで・どう評価するか」という整理と、「評価を独立した専門領域とみなすべき」という論点を確認。
  6. Jimenez, C. E., Yang, J., Wettig, A. et al. (2023). SWE-bench: 言語モデルは実際のGitHub課題を解決できるか? arXiv:2310.06770、v3(2024-11-11改訂)。— 要旨より、2,294件のタスクと1.96%という数値を確認。
  7. Husain, H. (2024-03-29). Your AI Product Needs Evals. hamel.dev/blog/posts/evals/。— ライブ投稿からの逐語引用(2026-09-11閲覧): "almost always share a common root cause: a failure to create robust evaluation systems"(訳:「ほとんどすべての失敗したLLMプロダクトは、堅牢な評価システムの構築に失敗したという共通の根本原因を持つ」)。
  8. Anthropic (2026-01-09). Demystifying evals for AI agents. anthropic.com/engineering。— ライブ投稿からの逐語引用: "a test for an AI system: give an AI an input, then apply grading logic to its output to measure success"(訳:「AIシステムのテスト:AIに入力を与え、その出力に採点ロジックを適用して成功を測定する」)、および "Automated evals are especially useful pre-launch and in CI/CD, running on each agent change and model upgrade as the first line of defense against quality problems."(訳:「自動化された評価は、リリース前やCI/CDにおいて特に有用であり、各エージェントの変更やモデルのアップグレードごとに実行され、品質問題に対する最初の防衛線となる」)。
  9. OpenAI. Evals. github.com/openai/evals。— 2026-09-11にリポジトリを参照。要旨を記述、引用はなし。
  10. Angulo, J., Yeste, V., Espinos-Morato, H. (2026). ベンチマーク汚染:各種緩和策を突破する分類法。 arXiv:2608.29463、2026-08-29投稿。— arXiv要旨からの逐語引用: "Leaderboards publish the model and the score, so capability and leakage stay observationally equivalent"(訳:「リーダーボードはモデルとスコアを公開するため、能力とリークは観測上区別がつかないままである」)。
  11. Verma, A., Saha, A. K., Subramanian, S., Aluru, S. H. (2026). AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling. arXiv:2608.26623(2026-08-27投稿)。— 77–82%帯およびルーブリック効果については要旨を参照。
  12. Purwar, A., Singh, S., Srivastava, K. (2026). Benchmarking LLM Judges for Voice-Agent Evaluation: Reliability, Calibration, and Human Oversight. arXiv:2608.24314(2026-08-25投稿)。— 要旨を参照。
  13. Ryu, D., Lee, J., Hwang, Y., Bak, J. (2026). When Noise Fabricates Bias: The Fragility of LLM-as-a-Judge Bias Measurement under Noisy Text. arXiv:2609.11067(2026-09-10投稿)。— 120倍の非対称性について要旨を参照。
  14. Wang, Z., Gu, L., Chi, Z. 他(2026)。Benchmarking LLM Judges for Mobile Agent Evaluation. arXiv:2608.11434(2026-08-11投稿)。— 要旨を参照。本エピソードの「what moved」期間から1日外れているため、その旨明記。
  15. Goodhart, C. A. E. (1984). Problems of Monetary Management: The UK Experience. In Monetary Theory and Practice(Palgrave, London)link.springer.com。— 1975年の論文を再掲。ペイウォールのため要約のみ、引用なし。
  16. Strathern, M. (1997). “Improving ratings': audit in the British University system.”(訳:「評価向上」:英国大学制度における監査) European Review 5(3), 305–321. doi:10.1017/S1062798700002660。— このスローガン(一般にGoodhartに帰される)の出典。ペイウォールのため要旨のみ参照、引用はなし。
  17. Landis, J. R., Koch, G. G. (1977). The Measurement of Observer Agreement for Categorical Data.(訳:カテゴリー型データにおける観察者間一致度の測定) Biometrics 33(1), 159–174. doi:10.2307/2529310。— カッパ値の慣例的な区分の出典。ペイウォールのため要旨のみ参照、引用はなし。
  18. Feng, Y., Xiang, Z., Yang, C., Ma, Q. (2026). Graph Engineering in the Era of LLM Agents: From Individual Intelligence to System Intelligence.(訳:LLMエージェント時代のグラフエンジニアリング──個の知能からシステム知能へ) arXiv:2608.21156v2、2026-08-26改訂。— 今シーズンが一段追加した五層ラダーの出典。
  19. Dhage, S. (2026). Harness Engineering for Predictable Agentic Systems.(訳:予測可能なエージェント型システムのためのハーネスエンジニアリング) arXiv:2608.26197、2026-08-25。— エピソード1の中心となる測定値(空の回答で決定性1.000となる指標)としてここで引用。
  20. Wu, P. J. (2026-08-06). One Opinion Wearing Ten Hats.(訳:十の帽子をかぶる一つの意見) futuremake.io。— 自著:パネルはスコアリング関数であり、スコアリング関数は外部基準で較正されるか、未較正とラベルされる。
  21. Wu, P. J. (2026-08-21). The Rubric That Could Not Fail.(訳:失敗できなかったルーブリック) futuremake.io。— これは自作の公開記事であり、「23点満点中23点」というスコア自体がバグだったこと、そして本当に正直な25/28点を出した敵対的な基準について書いている。
  22. Wu, P. J.(2026-07-23)。Verify Your Verifier. futuremake.io。— これは自作の公開記事であり、本エピソードの不変条件(インバリアント)がどこから来ているか、すなわち「主張は、その引用が解決され、証拠が主張の強度を裏付けている場合にのみ検証済みとなり、そうでなければ未証明に落ちる」というハーネスのルールについて書いている。
  23. Wu, P. J.(2026-09-11)。Lab 06 — The truth function: judge drift and pass^k、およびthe-report-cardとthe-audit-bench. gist.github.com/wjlgatech/752a9450…。— NotebookおよびProjectsセクションに記載されたすべての数値は、2026-09-11に実行されたこれらのランから得られたものである。