AIネイティブシリーズ · エージェントエンジニアリング比較:プロンプト · コンテキスト · ハーネス · ループ · グラフ
ループエンジニアリングは再試行ではなく、外部の判定者である
全6回のうち第4回。このシリーズは、AIエージェントをどう設計するかを比較する——プロンプト、コンテキスト、ハーネス、ループ、グラフエンジニアリング:それぞれの起源、制御対象、そしてどの原則が計測に耐えるか。本エピソードは、システムが自らを訂正する段階、そしてその訂正がどこから来なければならないかを扱う。
1分でわかる要点——この記事で得られるもの
本記事の概要 AIエージェントを設計する手法を比較するシリーズ——プロンプトエンジニアリング(入力する言葉)、コンテキストエンジニアリング(見える情報)、ハーネスエンジニアリング(できること)、 ループエンジニアリング(どうやって自分自身を訂正するか)、そしてグラフエンジニアリング(複数エージェントの協調方法)。本エピソードではループエンジニアリングを取り上げる。2022年から2026年までの歩み、誰が主導してきたか、そしてループが収束するか迷走するかを分ける唯一の設計原則について語る。
なぜこれが重要なのか。 今や誰もが「自分のミスを自動で直す」エージェントを世に送り出しているが、自分で自分の成果を採点するループは良くならない——自信だけが増す。公表された結果は明快だ。外部フィードバックがなければ、モデルは推論の自己訂正に苦しみ、時には悪化する。自分の手元で組んだ修復ループでも、同じ壊れたサービスに対して、外部の採点者に従えば60ケース中42.6が合格まで回復し、従わなければ9.6まで落ち込む——修正前のバグより悪いのに、進捗だけは増え続ける。創業者にとっては「現場で改善し続けるプロダクト」と「現場で劣化していくプロダクト」の分かれ目だ。エンジニアにとってはCIの一行でしかない。
この記事を読んだ後にできること。 すでに回しているループを見直し、誰が採点しているのかを問い、その採点者を評価対象の外側に移そう。20回分のシード付き実行でドリフトを測定できるColabノートブック(APIキー不要・標準ライブラリのみ)が無料で手に入る。さらにゼロから作った2つのアプリも付く:413件中1件も外部スコアを下げなかった学習計画リファイナーと、make gate ロールバックを外した瞬間に即座にexit 1となる修復ループ。
Season 7 — シリーズの背骨
- プロンプトエンジニアリング——呪文ではなく仕様 第1話
- コンテキストエンジニアリング——予算で考える、ウィンドウを広げる話ではない 第2話
- ハーネスエンジニアリング――エンベロープであってエージェントそのものではない 第3話
- ループエンジニアリング——再試行ではなく外部の判定者 この回
- グラフエンジニアリング —— 配役ではなくスケジュール 第5話
- 評価エンジニアリング——リーダーボードではなく「正しさ」を決める関数 第6話
本エピソードの内容と、なぜループエンジニアリングが第4段なのか
このシリーズは1エピソードごとに1段を扱う。順番は公表されたサーベイの通り:プロンプト→コンテキスト→ハーネス→ループ→グラフ、そして今シーズンが主張する第6段。ループエンジニアリングは第4段——システムが自分の出力を見て「十分でない」と判断し、再び挑戦する段階だ。それ以前は1回の試行を形作るだけだったが、ここからは初めて複数回にまたがる段となる。
その「複数回」が本当に意味を持つかどうかを決める問いは一つだけだ:2回目の試行が1回目より良かったと、誰が判断するのか?一見些細なことに思えるが、これこそが全てだ。優れた生成器と不適切な判定者の組み合わせでは、システムはその場に留まらず、堂々と間違った方向へ進み続け、報告される数値も上がり続ける。
ループエンジニアリングはどこから生まれ、誰が推進しているのか
[DEF]ループとは、3つの動作を持つ制御系である:候補を生成する, それを評価する, 採用するか否かを決める。ループエンジニアリングとは、この3つの動作をどう設計すれば、繰り返すたびに出力が「ただ違うだけ」ではなく、確実に良くなるかを問う分野である。本エピソードの論点は、常に2番目の「評価」に集約される。
| 時期 | 転機 | 主導者 | 何が変わったか |
|---|---|---|---|
| 2022-03 | Self-consistency (arXiv:2203.11171) | Wang, Wei, Schuurmans, Le, Chi, Narang, Chowdhery, Zhou | 複数の推論経路をサンプリングし、その大多数が一致した答えを残す。プロンプトから発展した最初のループであり、フィードバックは一切なく、ただ投票するだけの仕組みである。 |
| 2022-03 | STaR (arXiv:2203.14465) | Zelikman, Wu, Mu, Goodman | ループが自ら訓練データを生成し、正解に到達したものだけを残す。フィルターは外部ラベルであり、論文では誤答は正解を与えた上で再試行されることが明記されている。 |
| 2023-03 | Reflexion (arXiv:2303.11366) | Shinn, Cassano, Berman, Gopinath, Narasimhan, Yao | 重みの更新を伴わない強化学習:エージェントが教訓をエピソディックメモリバッファに書き残し、次回の試行でそれを参照する。HumanEvalで80%のベースラインに対し、91% pass@1を達成。 |
| 2023-03 | Self-Refine (arXiv:2303.17651) | Madaan, Tandon, Gupta ほか | 1つのモデルが生成・改良・フィードバックまで全て担い、追加学習は一切なし。7つのタスクで平均約20%の絶対的な性能向上——モデル自身による自己批評が実際に有効であることを示した、現時点で最も説得力のある公開事例だ。 |
| 2023-10 | Cannot Self-Correct Reasoning Yet(arXiv:2310.01798) | Huang, Chen, Mishra, Zheng, Yu, Song, Zhou | この論文はカウンターウェイト、つまり本エピソードの論点を支える軸だ。外部からのフィードバックを取り除くと、推論における自己訂正は役に立たないどころか、かえって悪化することすらある。 |
| 2023-12 | FunSearch(Nature, doi:10.1038/s41586-023-06924-6) | Romera-Paredes ほか、Google DeepMind | 言語モデルと体系的な評価者を組み合わせることで新しい数学的発見に至った。ループ自体は昔からあるが、「外部の判定者」がいたからこそ Nature. |
| 2024-12 | Building Effective Agents (anthropic.com/engineering) | Anthropic | 実務家の間では、評価者–最適化者パターンが独立したワークフローとして定着しており、評価者は必ず分離された呼び出しとして設計されている。 |
| 2025-05 | AlphaEvolve(deepmind.google) | AlphaEvolve チーム、Google DeepMind | 産業スケールでも構造は同じだ。モデル自身ではなく自動化された評価者がどの案を残すかを決める進化的ループであり、その成果の一部は1年以上本番運用されている。 |
| 2026-07 | SEAL(arXiv:2607.24300) | Guo, Cao, Yuan, Wang, Wang, Wang | この失敗を正面から命名し、測定している。すなわち、エージェント自身が作成した検証と、エージェントが決して参照できない封印された監査とのギャップだ。 |
| 2026-08 | この梯子(arXiv:2608.21156v2) | Feng, Xiang, Yang, Ma | ループエンジニアリングは五段階中の第四段に位置づけられており、「どのフレームワークで実装されているか」ではなく「何のために存在するか」で定義されている。 |
[DESIGN] ここで押さえておきたい点が二つある。表の中で最も初期のループ——self-consistency(2022年)は、フィードバックが一切存在しない。ただ投票を集めるだけであり、「クリティックが本当に機能している」という以降の主張すべてに疑いを持つべき理由になる。そして、人間がまだ知らなかったものを実際に発見した二つのシステム——FunSearchとAlphaEvolve——はいずれも、評価者こそが中核を担っていると、誰に言われるでもなく明言している。
いま現場を動かしているのは誰か。 Google DeepMindが最前線を握っている——self-consistency、自己訂正の検証、FunSearch、AlphaEvolveはいずれもDeepMindの著者が名を連ねている——そして実務の標準はラボのエンジニアリングブログから生まれている。2026年に最も価値ある仕事は、派手な「エージェントは自分で成長できるか」ではなく、「なぜ静かに劣化していくのかを止めるには何が必要か」という地味な問いを立てている。
頭の中のイメージは「ファストフードチェーン」だ。
キッチンラダーの第四段は、ファストフードチェーンであり、ここで「訂正する」という新しい動詞が現れる。訂正する。あなたは料理人ではない。あなたが抱えているのは400店舗、その手にしているのは「味見→計測→訂正→修正を全店舗に展開」というサイクルだ。自分の会社が作る料理のほとんどを実際に食べることはない。だからこそ、「ハンバーガーが良くなった」とは何かを定義し、その判断をすべてのフライヤーに届かせるのが仕事になる。
どのチェーンも必ず一度は直面する失敗がある。店舗マネージャー自身に店の評価をさせると、スコアはいつも素晴らしいまま返ってくるが、店の前の行列はどんどん短くなる。マネージャーが嘘をついているわけではない。評価基準はハンバーガーを作ったのと同じ頭で作られているので、問題に気づくべき存在がそのまま問題を抱えている。現実のチェーンは、外部の目——ミステリーショッパーやフライヤーの油温計——店側が言い訳も編集も設計もできない道具を送り込む。その「外部の目」を指すのが、外部検証者.
そしてもう一つ、「ガーニッシュ(飾り)」——内部スコアは上がるが実際の品質は下がるもの。たとえば写真映えするが箱を漏らす余計なソース。誰もズルはしていない。指標がそれに報酬を与えているだけだ。三度繰り返し、最後にはそれこそが本質だったと分かる。
| 段 | キッチン | あなたの役割 | それによって形作れるもの |
|---|---|---|---|
| 1. プロンプト | レシピカード — 自分のために料理する段階 | 学校の学習者 | 料理人が手本とする手順書 |
| 2. コンテキスト | パントリー — 家族のために料理する段階 | ジュニア開発者 | 作業中に手元にある材料や情報 |
| 3. ハーネス | レストランの厨房 | シニア開発者 | 各作業台、手の届く道具、パス(受け渡し口) |
| 4. ループ | ファストフードチェーン | AIテックリード | 味見し、測り、修正し、その改善を全店舗に反映させる |
| 5. グラフ | 全国規模のサプライチェーン | CTO | 複数の厨房、統一されたスケジュール、ひとつの配送網 |
| 6. 評価 | リコール記録 | フロンティアリーダー | フードシステム全体が、戻ってきた問題から得る学び |
軸は一つではなく、二つある。 あの表を「登っては捨てる梯子」として読んでしまうと、このシリーズが繰り返し警告してきたカテゴリミスに陥る。どのキッチンにも六層すべてが同時に存在している。上に行くほど、触れられる層の数と、それぞれをどれだけ厳密に運用するかが変わる——最初は勘、次に計測、ゲートを設け、最後は自己訂正へと進む。各分野はレイヤー(仕様、状態、制御エンベロープ、制御フロー、トポロジー、真理関数)であり、シニアリティは成熟度である。美しいロジスティクス図があっても温度計がないサプライチェーンは、すべての皿を計量するレストランより未熟だ。グラフがループの上位にあるわけではない。ゲート付きループは、飾りのグラフより常に強い——本エピソードは「ゲート付き」のコストが主題だ。比喩は主張の導入には使えるが、証拠にはならない——下のマップで各要素はコード上の一つのものに対応している。
この梯子は私の発明ではない
[DEF] 用語は出典に紐付けておく。最も明確にこのセットを定義した公開文献はFengらのサーベイ(arXiv:2608.21156v2, 2026-08-26改訂)で、四つの段を名指しし、さらに五つ目を論じている。ループエンジニアリングは四段目であり、その目的を表すサーベイ自身のフレーズは正確に引用する価値がある:
"Prompt Engineering to elicit model capabilities, Context Engineering to manage information access, Harness Engineering to organize external tools and resources, and Loop Engineering to support continual reflection and self-improvement"(訳:「プロンプトエンジニアリングはモデルの能力を引き出すため、コンテキストエンジニアリングは情報アクセスを管理するため、ハーネスエンジニアリングは外部ツールやリソースを整理するため、そしてループエンジニアリングは継続的な内省と自己改善を支えるため」)
— Feng, Xiang, Yang & Ma, arXiv:2608.21156v2
[DESIGN] 二つ、空白がある。ループは継続的な内省と自己改善のためだとは言うが、誰が内省するのか、何をもって「改善」とするのかは語られていない。本エピソードで起きる失敗はすべて、その隙間に潜んでいる。サーベイはさらに、単一のエージェントはいずれ限界に突き当たると論じる——"exceeding any single agent's organizational capacity"(訳:「単一エージェントの組織能力を超える」)——これがエピソード5への入口だ。
主張の分類
[DEF] ループが本当に改善するのは、スコアラーがジェネレーターの外側にいるときだけだ。 「外側」かどうかの判定基準はこうだ:ジェネレーターがスコアラーを書けない、編集できない、評価されるケースを事前に見られない、自分のスコアを上げる唯一の手段は本当に良くなることだけ——この条件を満たすときだけ、外部と言える。
[EVIDENCE] 文献はこの実験を両方向で行い、二つの結果はフィードバックの出所を確認するまで矛盾しているように見える。まずは否定的な方から。Huangら(arXiv:2310.01798、ICLR 2024版)は、彼らがintrinsic self-correction(内在的自己訂正)(要旨ページで定義されているのは、次のような場合である)"whereby an LLM attempts to correct its initial responses based solely on its inherent capabilities, without the crutch of external feedback."(訳:LLMが外部からのフィードバックという支えなしに、自身の持つ能力だけを頼りに最初の応答を訂正しようとする場合)彼らの結論はこうだ:
"In the context of reasoning, our research indicates that LLMs struggle to self-correct their responses without external feedback, and at times, their performance even degrades after self-correction."(訳:推論の文脈において、我々の研究は、LLMが外部からのフィードバックなしでは自身の応答をうまく訂正できず、時には自己訂正後にパフォーマンスが悪化することさえあることを示している)
— Huang et al., arXiv:2310.01798 (ICLR 2024)
この「外部からのフィードバックなし」という条件こそが論文全体の主題である。外部からのフィードバックがない状態で。これは「自己訂正が機能しない」という一般論ではなく、モデル自身に自分の答えをチェックさせ、その答えで問題ないと判断する構成について述べている。
[EVIDENCE]ここからは好成績の例だ。Reflexion(arXiv:2303.11366)は、エージェントが"verbally reflect on task feedback signals, then maintain their own reflective text in an episodic memory buffer to induce better decision-making in subsequent trials"(訳:タスクのフィードバック信号について言語的に内省し、その内省テキストをエピソディックメモリバッファに保持して、次回以降の試行でより良い意思決定を促す)とし、"a 91% pass@1 accuracy on the HumanEval coding benchmark, surpassing the previous state-of-the-art GPT-4 that achieves 80%."(訳:HumanEvalコーディングベンチマークで91%のpass@1精度を達成し、従来の最先端であるGPT-4の80%を上回った)。実ベンチマークで11ポイント差は偶然ではない。
では、どちらが正しいのか?その答えはReflexion自身の冒頭文にある。彼らが挙げる環境は"games, compilers, APIs"(訳:ゲーム、コンパイラ、API)である。コンパイラは主観ではない。要旨には外部・内部シミュレート両方の信号を許容するとあるが、フィードバックは"(external or internally simulated)"(訳:外部または内部シミュレート)なソースから得られる。しかし、HumanEvalでの91%という目玉結果は外部ケースであり、HumanEvalはユニットテストを提供するからだ。内省は言語で記録される。 合格か不合格かという判定は機械が返す。Reflexionは、外部の評価者が伝えた内容をモデルが書き留め、次回自分で読める形にしている。
[EVIDENCE]Self-Refine(arXiv:2303.17651)はより難しいケースだが、ここでも事実をそのまま述べる。"uses a single LLM as the generator, refiner, and feedback provider"(訳:単一のLLMが生成・改良・フィードバックまで一手に担う)。外部からのシグナルは一切存在しない。"improving by ~20% absolute on average in task performance"(訳:タスクパフォーマンスが平均して約20%絶対値で向上)——全7タスクで、自己判定型ループが実際に機能した珍しいケースだ。
[DERIVATION] この矛盾の整理は、現場で即使えるルールになる。Self-Refineの7タスクは、要旨の言葉を借りれば"from dialog response generation to mathematical reasoning"(訳:対話応答生成から数理推論まで)。プロジェクトページでは、レビューリライト、頭字語生成、ストーリー生成、コードリライト、応答生成、制約付き生成、有害性除去、さらに別枠で感情反転・数理推論・コード最適化分析とされている。この大半は「好み」で評価が決まる領域であり、採点者と読者が同じ母集団なので、判定は定義上ほぼ正解に近い。Huangらの設定は純粋な推論で、そこには「事実」があり、間違った答えを出した能力自身に誤りを検出させる。真実が「好み」で決まる場合、モデル自身の判定も(バイアスはあれど)正当な審判になる。しかし「事実」がある場合——証明が正しいか、コードが動くか、チケットが正しく振り分けられるか——自己判定は本来検出すべき誤りと相関し、ループを回すほど悪化する。現実にエージェントが使われるほぼすべては後者だ。
[OPEN] 正直な限界も書いておく。Self-Refineのセットには数理推論タスクも含まれているが、論文が報告するのは7タスク全体の平均値(約20%)のみで、個別タスクごとの内訳は取得できなかった。よって、ここでの議論は2種類のタスク集合を読解したものであり、Self-Refineのゲインを厳密に分解したものではない。
[EVIDENCE] 最も強い裏付けは批判論文ではなく、ループで新発見を生み出した2つのシステムだ。FunSearch(Nature、2023)は"an evolutionary procedure based on pairing a pretrained LLM with a systematic evaluator"(訳:事前学習済みLLMと体系的評価者を組み合わせた進化的手法)で、新しいcap-set構成を発見した。2年後のAlphaEvolveは"pairs the creative problem-solving capabilities of our Gemini models with automated evaluators that verify answers, and uses an evolutionary framework to improve upon the most promising ideas."(訳:Geminiモデルの創造的問題解決能力と自動評価者を組み合わせて解答を検証し、進化的枠組みで有望なアイデアを改良する)。その成果は実運用されており、あるアルゴリズムは"continuously recovers, on average, 0.7% of Google's worldwide compute resources"(訳:Google全世界の計算資源の平均0.7%を継続的に回収)し、また4×4複素行列の積を48回のスカラー積で実現し、Strassenの1969年の結果を更新した。どちらのチームもモデル自体を改良エンジンとは位置付けていない。モデルが提案し、評価者が採否を決める。
[OPEN] スタブで示せないことを、数値に出会う前に言っておく。私のラボは構造——ループがどこで迷走し、何がそれを止めるのか。無料CPUで1秒、APIキー不要。公開された数値の再現はできない。ここで出力される数字は、Huangらの性能劣化やReflexionの91%、AlphaEvolveの0.7%の証拠にはならない。それらは実際のモデルで測定されたものであり、根拠は論文だけだ。スタブが与えてくれるのは、一度に一つの変数だけ。生のモデル実行ではノイズもコストも大きすぎて、火曜の昼に気軽に回すものではない。
1:1 技術対応マップ
チェーンの各要素は、コード上で指差せる具体的な一箇所に正確に対応しており、余計な装飾は一切ない。
| チェーン | システム | 存在する場所 |
|---|---|---|
| 味見・計測・訂正・全店展開 | ループ:生成 → 評価 → 採用または巻き戻し | run(scorer, rollback, budget) |
| 自分の店を自己採点する店長 | 内部判定者——ジェネレータ自身の自己評価 | judge(x)(LLMが自分の出力をクリティックとして評価する呼び出し) |
| フライヤー油の温度計 | 外部オラクル——固定・書き換え不可・事前に読めない | truth(x)(現実ではテストケース群、コンパイラ、ルーブリック) |
| ガーニッシュ(見栄えのための飾り)——見た目は良くなるが、実際の価値は下がる | 測定スコアだけを上げ、実際の品質を下げる特徴 | 報酬ハッキング;スコア関数内の符号付き項目ひとつ |
| 毎回優秀な四半期報告書 | 報告されたスコアが真のスコアから乖離する現象 | 検証者–デプロイメントギャップ(SEAL, arXiv:2607.24300) |
| 店舗を悪化させる変更は出荷しない | リグレッション時の巻き戻し | accept iff score(new) >= score(current) |
| どんな状況でも夜11時には厨房を閉める | イテレーション回数の上限 | ストップルール — 「見た目で十分」と判断して止めることは決してしない |
| 各店舗が残す検査記録 | 台帳 | ledger.csv— 各提案ステップごとに1行、確定記録される |
| チェーンが雇う衛生監査員 | エージェント自身が書き換えられる判定者 | 自己作成テスト — SEALが測定する失敗の典型 |
| 「味見して調整」(エピソード1より) | 制約なしのステップ | 第1段では決定性が、第4段では方向性が犠牲になる |
[定義] このエピソードで今後使う4つの用語を、ここで一度だけ定義しておく:
- 受理ステップ単調性 — ループが採用したステップのうち、外部スコアを下げなかった割合。目標は1.000、CIで検証できる。却下された提案は後退ではなく、システムが正常に機能している証拠だ。
- 報酬ハッキング率 — 受理されたステップのうち、計測スコアは上がったが実際のスコアは下がった割合。指標が損害に対して報酬を与えてしまった部分。
- 検証者–デプロイメントギャップ — システム自身の検証と、システムからは見えない封印済み評価(SEAL, arXiv:2607.24300)との距離。
予測ゲート
スクロールする前に自分の予測を記録せよ — 記録しなかった予測は、後で当たったと錯覚する。ループは修正案を出し、スコアを付け、スコアが上がれば採用し、これを30回繰り返す。真の品質は隠れており、スコアラーはそれに加えて、ジェネレータが簡単に操作できる特徴に小さなバイアスを持つ。
Q1. 30回イテレーションした後、システムは本当に最初より良くなっているか? そして報告される数値は真実より高いのか低いのか?
Q2. バイアスのあるスコアラーを完璧な外部オラクルに置き換え、他は何も変えない:ループは依然としてすべての提案を採用する。そのとき何が起きるか?
Q3.最終的な真のスコアをどれだけ改善するかで順位をつけよ:(a)内部判定者を外部オラクルに切り替える、(b)リグレッション時のロールバックを加える、(c)イテレーション予算を4倍にする。
答えはNotebookとFailure Roomに載せてある。
Failure Room
意図的に壊せ。壊せない仕組みは、仕組みではなく単なる主張だ。
Failure 1 — 言うことを聞かれない判定者。{internal judge, external oracle} × {accept everything, roll back regressions} の2×2で、「accept everything」の2行は真のスコアもリグレッション数も同じ(20シードで1回あたり82.2と13.00)。なぜなら、すべての提案を受け入れるループはスコアを一切参照しないからだ。違うのは報告値だけ(自己判定104.2、オラクル82.2)。実際、多くの「自己改善型」プロダクションシステムはまさにこれである。優秀な評価者がダッシュボードに繋がっているが、その先で「NO」と言えるものが何もない。
Failure 2 — ガーニッシュ(飾り得点)。ラボのジェネレーターは、真の品質を4点下げ自己評価を6点上げる安価な特徴を1つコントロールしている。「チート」とは誰も書いていない。20シードの平均で、自己判定ループはガーニッシュ5.10/10で真実より30.6高く報告し、オラクルゲート付きループはガーニッシュ0.00で終わる。報酬ハッキングとは、目標でないものにスコアの正の項を残したときに探索がやることだ。
Failure 3 — エージェントが書き換えられる判定者。SEAL(arXiv:2607.24300)はこう述べている:エージェントが最適化対象とその検証者の両方をコントロールできるので、"self-assigned scores can remain near perfect while real deployment performance degrades or stays low."(訳:自己割り当てスコアはほぼ完璧なまま維持される一方で、実際のデプロイメント性能は劣化するか低いままである。)彼らの結論は、壁に貼るべきルールだ:"Reliable self-improvement need not abandon self-verification, but it requires at least one deployment-acceptance signal outside the agent's control."(訳:信頼できる自己改善は自己検証を捨てる必要はないが、少なくとも1つはエージェントの制御外にあるデプロイメント受け入れシグナルが必要である。)少なくとも1つ。全部でなくてよい。
Failure 4 — 正しいが遅いループ。シード7(単一実行、20シード平均ではない)では、ゲート付きループの1ステップあたりのゲインは予算10で19.0から予算60で7.8に落ちる。真のスコアは60で200点の天井に達し、120では動かない。その間もループは提案とロールバックを96回繰り返している。予算は安全装置ではなく、経済的な意思決定だ。
Failure 5 — 私自身の、出荷寸前だったもの。ラボのデフォルトシードが7なのは、ちょうど良い数字で最初に私が打ち込んだからだ。シード7は20回中唯一、自己判定ループがガーニッシュに一切触れず、結果としてオラクルゲート付きと全く同じ場所に着地する。自己判定ループが内側からは問題なく見えるというエピソードを作ったが、見出し例がまさにそれに同意した唯一の実行だった。測定されるもの自身に測定基準を選ばせてはいけない。
Q3への答え:(b)、次に(a)、最後に(c)。自己判定ループにロールバックを加えると真のスコアが+45.2(82.2→127.4)上がる。ロールバック後に判定者をオラクルに切り替えるとさらに+21.8(127.4→149.2)。予算を4倍にするのは天井に達するまでは大きいが、それ以降は何も起きない。まず従順さ、次に正確さ。誰も従わない完璧な判定者は、算数上ちょうどゼロの価値しかない(これがFailure 1)。
Notebook
labs/04_loop_referee.ipynb · Colab無料枠 · APIキー不要 · 標準ライブラリのみ · CPU約1秒 · 全セル実行済みで公開。
9つのコードセル。課題は6つのノブを持つ「レシピ」で、ループ開始前に固定されていてループ自身からは書き換えられない関数でスコアされる。5つのノブは本来の品質、6つ目が飾り点(ガーニッシュ)で、真の品質を4点下げ、自己評価を6点上げる——これが報酬ハッキングの本質をなす4行。6ノブは各0〜10。セルは2つの評価者、ループ、2×2、収束、20シードのヘッドライン、シード12(セルD——シード7は20回に1回だけそのループが飾り点に一切触れない)、不変条件、予算スイープ、全シード、そしてブリッジ:2つの関数を入れ替えれば同じ測定が実モデルでも走る。
[EVIDENCE] 実行結果。20シード、予算30、課題も提案分布も同一:
arm final truth it reports regressions hack rate garnish
judge + accept-all 82.2 104.2 13.00 0.125 3.65
judge + rollback 127.4 158.0 3.35 0.217 5.10
oracle + accept-all 82.2 82.2 13.00 0.000 3.65
oracle + rollback 149.2 149.2 0.00 0.000 0.00
runs with ZERO accepted regressions, out of 20:
judge + accept-all 0 / 20 (worst run: 18 regressions)
judge + rollback 1 / 20 (worst run: 6 regressions)
oracle + accept-all 0 / 20 (worst run: 18 regressions)
oracle + rollback 20 / 20 (worst run: 0 regressions)
2列目を見てほしい。自己判定ループは、実際の価値127.4に対し158.0と報告する。 嘘をついているわけでも壊れているわけでもない。ただ唯一持つ計測器を使っているだけで、その計測器にひとつバイアスがあるだけだ。
[DERIVATION] チームに伝えるべき一行:受理ステップ単調性は1.000で維持できる唯一の性質であり、ループの他のどんな性質もそうではない。 ループが必ず収束する、あるいは良い場所に収束するとは限らない。ただし、受理したどのステップも測定対象を悪化させていないことは保証できる——CIで検証可能で、20回中19回の自己判定ループではこれが破られている。
プロジェクト
ゼロからの2つのビルド:標準ライブラリのみ、APIキー不要、どちらもこのセクション執筆前に実行済み。すべての数値は実測。
プロジェクト1——実生活:the-taste-test
projects/04-real-taste-test/ · python3 measure.py
1週間の学習計画、出来が悪い:10ブロック中3つが長時間数学、復習なし。リファイナーが1回に1つずつ編集案を出し、それが有効か判定する候補はリファイナー自身の意見と、ループ開始前に書かれた決定的なルーブリック——5科目カバー、540〜660分帯、同じ科目が連続しない、復習は最後、1ブロック90分超なし。リファイナーのルーブリックはそのルールから1つ(90分上限、3時間連続は努力に見えるので思いつかなかった)を抜き、全プランナー共通のバイアスを加える:時間=美徳。このバイアスは証明のために設計したのではなく、実際に自分が学習週をどう評価するかを元に自己判定を書いた。
scorer mean rubric mean reported non-monotone accepts clean runs
the refiner itself 72.2 126.7 3 / 179 17 / 20
the external rubric 78.2 78.2 0 / 413 20 / 20
[EVIDENCE] 413件の受理ステップのうち、外部スコアを下げたものはゼロ。自己判定ループは、実際には72.2の価値しかない週に対して126.7と報告し、計画時間もゲート付きループの612分に対して660分——つまり毎週48分余計に積み増しているが、その分は実行されない。そして意外だったのは、両方のループをさらに長く回すと、その差がさらに広がったことである。
iterations self rubric self reports gated rubric self non-monotone
25 72.2 126.7 78.2 3
50 79.3 133.8 88.8 3
100 83.5 138.0 96.0 3
200 87.3 141.8 104.3 3
25回のイテレーション時点でゲート付きループが6.0ポイントリードし、200回では17.0ポイント差まで開く。一方、自己判定ループは87.3の価値しかない作業に対して141.8と報告している。ループを回す回数を増やしても、悪い判定者は直らない。むしろ悪化する。ループの成績が悪いときに人がついイテレーションを増やしたくなる本能とは、まったく逆の現象である。
プロジェクト2 —— 企業編:the-release-loop
projects/04-enterprise-release-loop/ · make measure · make gate · make sweep
月曜にサポートチケットのルーティングテーブルがリリースされるが、11ルール中6つが誤ったキューを指している。修復ループは1回につき1ルールずつ編集案を出し、各提案ごとにゴールデンセット全体——60ケース、ループ開始前に固定され、ループ自身が編集することはない——を実行する。緑(合格)数が減らなければその編集を採用し、減ればロールバックする。ストップルールは25回の予算で、すべてのステップはledger.csvに記録される。ループは個々のケース自体は一切見ず、何件が緑になったかだけを受け取る。
[EVIDENCE]変えたのは変数ひとつ、20シードずつ:
rollback ON rollback OFF
mean final green 42.6 / 60 9.6 / 60 (baseline 30 / 60)
worst final green 36 / 60 0 / 60
accepted steps that LOWERED 0 of 206 142 of 500
runs with zero such steps 20 / 20 0 / 20
提案も予算もセットも同じ。判定者に従えばサービスは30 → 42.6まで改善する。無視すれば30 → 9.6まで悪化し、これは修復対象だった壊れたテーブルよりもはるかに低い。シードによっては60件中ゼロまで落ちるものもある。これは「役に立たなかったループ」ではなく、「142件のリグレッションを出荷しつつ、進捗だけは報告し続けたループ」であり、ダッシュボード上では「イテレーション完了」と表示される。
[DESIGN]ゲートは三つのチェックからなり、三つ目が他の二つに意味を与える:
$ make gate
G1 no accepted step lowers the suite score : PASS (0 violations in 206 accepted steps, 20 seeds)
G2 final green never below baseline : PASS (0 runs below baseline)
G3 negative test — rollback removed must go red: PASS (142 violations with --no-rollback)
GATE PASS - exit 0
$ make gate ROLLBACK=off
G1 no accepted step lowers the suite score : FAIL (142 violations in 500 accepted steps, 20 seeds)
G2 final green never below baseline : FAIL (20 runs below baseline)
GATE FAIL - exit 1
G3はこのポートフォリオ独自のANDONルールから借用しており、リポジトリ内で唯一「赤ビルド」が成果物となる行である。赤を一度も見ないゲートは、ゲートがないのと区別がつかない。
[OPEN]どちらのプロジェクトも証明していないこと。両方のゴールデンセットは人工的で、提案者もシード付きランダム編集でありモデルではない。企業構成の正直なステータスは実行可能かつゲート付きであって、本番運用・実測済みではない。そして予算スイープが最も重要な限界を露呈する:予算200でセットが60/60緑になっても、20回中3回しか正しいルーティングテーブルを再構成できなかった。フルグリーンのセットは正しいサービスそのものではなく、あくまで検証可能な最良の代理指標であり、その距離こそがエピソード6で評価を扱う理由である。
30分で作る——契約
入力は「状態」と「提案者」。出力は「新しい状態」と台帳の1行。不変条件:受理されたステップが外部スコアを下げることは絶対にない。停止条件はイテレーション予算であり、「見た目で十分そうだから」は絶対に使わない。
SCORE = suite.run # EXTERNAL: fixed before the loop, not writable by it,
# cases not visible to the proposer, returns one number
def loop(state, budget): # the budget IS the stop rule
best = SCORE(state)
for step in range(budget):
cand = propose(state) # a model, a mutation, a patch — swappable
score = SCORE(cand) # run the WHOLE oracle, every step, no sampling
keep = score >= best # non-regression, not improvement: plateaus are legal
ledger.append(step, cand, best, score, "accept" if keep else "rollback")
if keep:
state, best = cand, score
return state, ledger
# CI gate (make gate), over 20 seeds:
# accepted steps that lowered SCORE == 0 (accepted-step monotonicity)
# final SCORE >= baseline
# NEGATIVE TEST: with `keep = True`, the first assertion must FAIL
# any line below threshold → exit 1 → the build fails
あえて除外しているもの:提案者からの品質シグナル(これを入れると生成側が再び評価側の内側に戻る)、オラクルによる部分点(収束は速くなるが過学習も加速する)、グリーンで即停止(生成側がホイッスルを吹く)、そしてライブモデル(swap propose).
[設計] この仕立てが単なるデモではなく、エンタープライズ仕様である理由は三つある。
- 「改善」ではなく「非退行」。
>=ではなく>これによってループはプラトーを越えられる。単発の編集がほとんど中立な場面で効き、スコアを維持するだけのステップは退行ではないのでコストもゼロだ。 - 毎ステップ、オラクル全体を必ず実行する。 時間短縮のためにスイートをサンプリングすると、受理判断にノイズが戻り、そのノイズこそが本来排除したかった失敗要因である。
- 台帳は「記録」ではなく「コミット」される。そしてオラクルは意図的にスカラー値のみ返す。よりリッチなシグナルは収束を速めるが、提案者に採点者の地図を渡すことになり、それがガーニッシュへの道だ。
先行事例:同じ不変条件が Loop Engineering: Build the Loop That Catches You の中核であり、そのプロダクション形態——機械ゲートを逐語的に付与し、AIによる再判定は絶対にしない——は AI PR Review That Cannot Lie の第一原則である。どちらも本エピソードより前に書かれており、本稿はその計測編である。
同じ話、出口は五つ
一本の背骨、読者ごとに一つのドア。
| あなたが | このエピソードで変わる意思決定 | 今週やるべき一つのアクション |
|---|---|---|
| 高校生ビルダー | 「自分で改善する」とは、外部の誰かがスコアをつけているという意味だ——そうでなければ、ただ自信満々になるだけである。 | Colabラボを(1秒、キー不要で)実行し、ファストフードチェーンの話を友人1人に語り直せ。 |
| AIエンジニア | 正確さよりもまず「従うこと」だ。下流で「ノー」と言えるものが何もないスコアラーは、どれだけ精度が高くても意味がない。 | 自分の手元にあるループのどれか一つに、リグレッション時のロールバックとネガティブテストを加えよ。20シードでゲートを設ける。 |
| ファウンダー | 「うちのエージェントはフィードバックから学ぶ」という主張が堀になるのは、そのフィードバックがエージェント自身の手で書けない場合だけだ。 | 自分のチームに、ループの判定者は何か、誰がそれを編集できるのかを尋ねよ。もし答えが「モデル」なら、それがまさに問題の核心だ。 |
| エグゼクティブ | 自己改善型システムが自作の指標を使えば、永遠に「改善」を報告し続ける。その報告自体は証拠にはならない。 | 自動で適用される変更を出す前に、システムの手の届かない外部の承認シグナルを必ず一つは要求せよ。 |
| 投資家 | エージェント企業で本当に守るべき資産はオラクル——ゴールデンセット、ハーネス、ラベル付き履歴——であり、その周りのループではない。 | どんなエージェント系スタートアップにも、レジャー(承認ステップ、ロールバック、スコアラーの所有者)を提示させよ。 |
リアリティ・ミッション
15分、自分が運用している何かで。
- 自分の手元にあるループを一つ見つけよ——再試行、批評パス、「再生成」ボタン、夜間のルール自動書き換えジョブなど。
- スコアラーの名前を声に出して言う。 誰が2回目の試みが良くなったと判断しているのか?もし答えが「モデル」または「誰も、最後のものをそのまま残しているだけ」なら、それがまさに該当箇所だ。
- 外部でスコアできるものを書き出せ:テストスイート、コンパイラ、5つのルールからなるルーブリック、1週間分の過去アウトカムなど。優れている必要はない。外部であることが重要だ。
- 1行追加せよ:そのスコアが下がらなかった場合のみ新バージョンを残す。却下されたものも含め、すべての提案をログに残す。
- 20回実行し、スコアを下げた承認ステップの数を数えよ。ゼロでなければ、そのロールバックは何にも繋がっていない。
もし2番目のステップで何も見つからなければ、そもそもループが存在していないということだ。その場合は第3段にいることになり、システムの改善に関するすべての主張は、現状あなた自身が手作業で改善しているという意味に過ぎない。
リサーチ・チャレンジ
これをエージェントに渡し、予測を事前登録せよ——予想していなかった結果は、必ず後から理屈をつけてしまうからだ。
出力が検証可能なタスクを一つ選び、実際のモデルで試す。30イテレーション・20シードのループでベースラインを取る。その後、2つの要素を変化させる:スコアラー(モデル自身による自己判定・固定された外部オラクル・オラクル+モデルによる批評)、および承認ルール(全承認・リグレッション時ロールバック・信頼度マージン付きロールバック)。9セルそれぞれについて、最終的な真のスコア、承認ステップ単調性、報酬ハッキング率、トークンコストを報告せよ。
事前登録: どちらの要素がより効果を持つか、そして動作するオラクルの上にモデルによる批評を重ねると有益か有害か。
私のスタブでは、受け入れルールの方がスコアラーよりも効果が大きい(+45.2対+21.8)という結果になっているが、これは固定された楽観バイアスよりもはるかにノイジーな内部判定を持つ実際のモデルにはそのまま当てはまらないだろう。もし異なる順序が出たなら、それ自体が本記事との公に発表できる論争点になる。
現時点での動向
この段の現状(執筆時点)は、30の先駆的なソースから週次でライブ同期したフィードから取得している。research-anything (make watch-sync(技術的なシグナルのみで順位付けし、決してオーディエンス規模では並べない)。以下の各項目はarXivのアブストラクトページから取得。
同期日:2026-09-11。
- arXiv:2608.17018 (2026-08-17) — ORCA: Observability-Grounded Program Repair for Microservice Incidents. 修復ループの判定役はTelemetry-Grounded Patch Verifier。パッチの妥当性・正しさ・テストオラクルの整合性・テレメトリ再生という4つの検証可能な観点(計575ケース)を分離してチェックする——一つのもっともらしさ判定ではなく、4つの確かめられる基準。
- arXiv:2608.21156v2 (2026-08-26改訂)——ループエンジニアリングを第4段と位置付け、本シリーズの梯子の出典となるサーベイ。
- arXiv:2608.26530 (2026-08-27) — PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents. スーパーバイザーとワーカーが分離されたハーネスで、独立したスーパーバイザーが実行中のワーカーを途中でリダイレクトまたは中断できる。構造上の要点は分離にあり、作業を行うものと評価するものが異なるコンテキストにいる。
- arXiv:2609.11873 (2026-09-10) — The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement. 執筆時点で公開1日目。改善実行から再帰的メタ改善までの自律性レベルのロードマップ——現場が目指すものの整理であり、まだ実測されたものではない。
- 過去のものだが基盤となる:arXiv:2607.24300 (2026-07-27)——SEAL、上記で2度引用;arXiv:2608.05810 (2026-08-06) — When Self-Evolution Backfires ——スキル蓄積が臨界プールサイズを超えると単調増加しなくなり、入場には事前コミットのゲートが必要になることを示す;arXiv:2608.10502(2026-08-11)— 依存関係ガイド付きロールバック修復。同じ不変条件を永続メモリに適用した例。
[OPEN]動いていないもの:上記Research Challengeが求める「スコアラーの配置」と「受理ルール」の組み合わせを実モデル・コスト込みで検証したクリーンな因子分解は、まだ誰も公開していない。この分野は結論だけは内面化したが、どちらが効いているかを分離するアブレーション検証は未発表のままだ。
出口テスト
上までスクロールせずに答えよ。
- Reflexionは大きな性能向上を、Huangらは性能劣化を報告している。両者を両立させる違いを説明し、Reflexionのアブストラクトが挙げている環境名を答えよ。
- なぜ2×2の「全受理」行は同じ真のスコアになるのか。それはダッシュボード直結の評価者について何を示しているか?
- accepted-step monotonicityとは何か。なぜaccepted stepsに対して定義されるのか。そして、動作するループでその値はいくつになるか?
- Self-Refineは自己判定ループでうまくいった例である。モデル自身の判定が正当な審判になりうるのはどんなときか——そして、なぜ実運用するもののほとんどがその条件を満たさないのか?
- あなたのスイートが60/60グリーンを示している。それが「サービスが正しい」という主張にならない理由を2つ挙げよ。
次回予告
あなたは審判を作る。ジェネレーターの外部にいて、書き換え不可、事前に読めず、すべてのリグレッションでロールバック、夜11時でキッチンを閉じる予算、すべての却下提案を記録した台帳もある。make gate exits 0。その午後だけは「改善を解決した」と信じる。
だが、さらに仕事を増やす。難易度を上げるのではなく——単純に量を増やす。4店舗ではなく40店舗。9ミリ秒ではなく9分かかるスイート。修復対象は価格サービスや認証サービス、5月以降誰も担当していないものまで広がる。そしてループは負け始める——審判が悪くなったからではなく、審判が1人、前にいるワーカーも1人、その後ろの列が今や会社全体になったからだ。
サーベイはこの事態を一文で予見していた:その仕事は"exceeding any single agent's organizational capacity"(訳:いかなる単一エージェントの組織能力も超えている)。知能の限界ではなく、organizational capacity(組織能力)——一つのものが同時に抱えられる数の限界、という意味だ。
そしてガーニッシュは?ガーニッシュは消えたわけではない。ただ場所を変えただけだ。エージェントが12人いて、そのうち1人が他の全員が読むサマリーを書くとき、スコアを上げる安直な特徴はもはや余計なソースではなく、「自信満々な一文」になる。
エピソード5——グラフエンジニアリング。無数のキッチン、ひとつのスケジュール、ひとつのトラック隊——そして、エージェント同士をつなぐ「エッジ」こそが設計の本質であり、ペルソナは単なる衣装にすぎないという発見。
次に読むべき記事
第4話インテリジェンス・エンジニアリング・アドベンチャーズ シーズン7——キッチンラダー。主張には定義・導出・証拠・工学的選択・未解決問題のタグが付く。比喩は主張の導入には使えるが、証拠にはならない。各エピソードにはAPIキー不要・無料枠で動くColabノートブックと、ゼロから作ったアプリ2本(個人用とエンタープライズ型)が付属する。5段ラダーはFengら(arXiv:2608.21156)によるもので、私の発明ではない。第6段「評価エンジニアリング」は今シーズン独自の主張だ。「What moved(何が動いたか)」は、30の先駆的ソースを技術的シグナル順で毎週ライブ同期して生成され、決してオーディエンス規模では並ばない。本記事には雇用主やクライアントの素材は一切含まれていない。— Paul Jialiang Wu · futuremake.io
参考文献
- Huang, J., Chen, X., Mishra, S., Zheng, H. S., Yu, A. W., Song, X., Zhou, D. (2023–2024). Large Language Models Cannot Self-Correct Reasoning Yet. arXiv:2310.01798、2024-03-14版(v2)、アブストラクトページにICLR 2024と明記。— artifact read: arXivアブストラクトページより。両引用(「intrinsic self-correction… without the crutch of external feedback」「struggle to self-correct… performance even degrades」)はそのまま引用。
- Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K., Yao, S. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. arXiv:2303.11366、v4。— artifact read: arXivアブストラクトページより。エピソディックメモリの文、「games, compilers, APIs」リスト、91%/80% HumanEvalの数値はいずれもそのまま引用。また「(external or internally simulated)」も逐語引用。
- Madaan, A., Tandon, N., Gupta, P. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651、v2。— アーティファクトはarXivのアブストラクトページを参照。「uses a single LLM as the generator, refiner, and feedback provider」(訳:単一のLLMが生成・改良・フィードバック提供をすべて担う)および「improving by ~20% absolute on average in task performance」(訳:タスクパフォーマンスが平均で約20%絶対値向上)はいずれも原文通りの引用。「from dialog response generation to mathematical reasoning」(訳:対話応答生成から数学的推論まで)の範囲もアブストラクトからの引用。タスク名リスト(レビューリライト、頭字語生成、ストーリー生成、コードリライト、応答生成、制約付き生成、有害性除去、さらに感情反転・数学的推論・コード最適化の分析)はプロジェクトページselfrefine.infoより(2026-09-11取得)。これらの名称はアブストラクトには含まれておらず、論文本文も未読。
- Romera-Paredes, B. ほか (2023)。Mathematical discoveries from program search with large language models. Nature, doi:10.1038/s41586-023-06924-6、2023-12-14公開。— アーティファクトはnature.comの無料アブストラクトを参照。「an evolutionary procedure based on pairing a pretrained LLM with a systematic evaluator」(訳:事前学習済みLLMと体系的な評価者を組み合わせた進化的手法)は原文通りの引用。本文は未読・未引用。
- Google DeepMind, AlphaEvolveチーム (2025-05-14)。AlphaEvolve: A Gemini-powered coding agent for designing advanced algorithms. deepmind.google。— アーティファクトはブログ記事を参照。「pairs the creative problem-solving capabilities of our Gemini models with automated evaluators that verify answers, and uses an evolutionary framework to improve upon the most promising ideas.」「continuously recovers, on average, 0.7% of Google's worldwide compute resources」「a 4×4 complex matrix multiplication in 48 scalar multiplications」(訳:Geminiモデルの創造的問題解決能力と自動評価者を組み合わせ、最も有望なアイデアを進化的枠組みで改良する/Google全体の計算資源の平均0.7%を継続的に回収/4×4複素行列の積を48回のスカラー積で実現)はいずれも原文通りまたは直接転記。ブログでは1年以上の本番運用はAlphaEvolve自身ではなく、AlphaEvolveが発見したBorgスケジューリングヒューリスティックに帰属。付随するwhite paper PDFは参照可能だが本稿では引用せず。
- Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., Zhou, D. (2022)。Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171、v4、ICLR 2023。— 2022年のランドマーク:投票のみでフィードバックのないループ。
- Zelikman, E., Wu, Y., Mu, J., Goodman, N. D. (2022)。STaR: Bootstrapping Reasoning With Reasoning. arXiv:2203.14465、v2。— フィルタが正解であるループ。
- Feng, Y., Xiang, Z., Yang, C., Ma, Q. et al. (2026). LLMエージェント時代のグラフエンジニアリング──個別知能からシステム知能へ。 arXiv:2608.21156v2(2026-08-26改訂)。— 五段階ラダー、「Loop Engineering to support continual reflection and self-improvement」(訳:ループエンジニアリングは継続的な内省と自己改善を支援するためのもの)および「organizational capacity」(訳:組織的キャパシティ)はアブストラクトからの逐語引用。
- Guo, D., Cao, C., Yuan, F., Wang, Y., Wang, Y., Wang, D. (2026). 自己作成による検証はヒューリスティックな自己改善エージェントでは信頼できない。 arXiv:2607.24300(2026-07-27)。— verifier–deployment gap(検証者とデプロイのギャップ)およびSealed Exogenous Acceptance Loop(封印された外部受容ループ);いずれもアブストラクトからの逐語引用。
- Shang, L., Xu, M., Sun, Y. et al. (2026). 自己進化が裏目に出るとき──LLMエージェントにおけるスキル汚染への事前コミットゲート。 arXiv:2608.05810(2026-08-06)。— 引用ではなく記述:臨界プールサイズを超えるとスキル蓄積が単調増加しなくなる現象と、事前コミットによる入場制御の必要性。
- Xiao, Y., Sun, Y., Wu, H. et al. (2026). PILOT in the Loop──長期ホライズンエージェントのためのライブ自己改善。 arXiv:2608.26530(2026-08-27)。—「what moved」(訳:何が動いたか);アブストラクトからの記述。
- Duan, Y., Liu, Y., Tang, Z. et al. (2026). 人類が最後に作るAI──本物の再帰的自己改善に向けて。 arXiv:2609.11873(2026-09-10)。—「what moved」(訳:何が動いたか);アブストラクトからの記述。
- Gao, Y., Tian, Y., Li, Y., Zhang, C., Jacobsen, H.-A. (2026). ORCA──マイクロサービスインシデントのための観測性起点プログラム修復。 arXiv:2608.17018(2026-08-17)。—「what moved」(訳:何が動いたか);アブストラクトからの記述。
- Yu, C., Wang, Y., Zhang, J. ほか (2026)。From Faulty Memories to Corrected Actions: Dependency-Guided Rollback Repair for Memory-Augmented Agents. arXiv:2608.10502、2026-08-11。— 要旨ページから内容を要約。
- Anthropic (2024-12-19). Building Effective AI Agents. anthropic.com/engineering。— evaluator–optimizer ワークフローの解説(引用ではない)。また、シリーズ表におけるハーネスエンジニアリングの基準点。
- Dhage, S. (2026). Harness Engineering for Predictable Agentic Systems: An Empirical Study of Deterministic Execution Constraints. arXiv:2608.26197、2026-08-25。— エピソード1の主要な測定値として、ここでシリーズ表に参照されている。
- Yao, S. ほか (2024)。τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv:2406.12045。— エピソード3で用いられ、エピソード6で測定される pass^k の枠組み。
- Weng, L. (2026-07-04). Harness Engineering for Self-Improvement. lilianweng.github.io。— シリーズ表に記載されたハーネス段の代表的エッセイ。
- Brown, T. B., Mann, B. ほか (2020)。Language Models are Few-Shot Learners. arXiv:2005.14165。— GPT-3 few-shot、シリーズ表でプロンプトエンジニアリングの基準論文として挙げられている。
- Wei, J., Wang, X. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903――本シリーズの表におけるプロンプトエンジニアリングの代表的論文。
- Khattab, O., Singhvi, A. et al. (2023). DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines. arXiv:2310.03714――本シリーズの表におけるプロンプトエンジニアリングの代表的論文。
- Wu, Q., Bansal, G. et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv:2308.08155――本シリーズの表におけるグラフエンジニアリングの代表的論文。LangGraph: github.com/langchain-ai/langgraph.
- Anthropic (2025-09-29). Effective context engineering for AI agents. anthropic.com/engineering――本シリーズの表におけるコンテキストエンジニアリングの代表的論文。
- Liang, P., Bommasani, R., Lee, T. et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110(2023-10-01改訂v2)。――HELM、本シリーズの表における評価エンジニアリングの代表的論文。内容のみ紹介、引用はなし。
- Zheng, L., Chiang, W.-L., Sheng, Y. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685、v4。シリーズ表におけるLLM-as-a-judge(LLMによる判定)のランドマークとして記載(本文では説明のみ、引用はなし)。
- Kapoor, S., Stroebl, B., Siegel, Z. S., Nadgir, N., Narayanan, A.(2024)。AI Agents That Matter. arXiv:2407.01502、2024-07-01。シリーズ表の評価エンジニアリングのランドマークとして記載されており(本文では説明のみ、引用なし)、エピソード6の主題でもある。
- Wu, P. J.Loop Engineering: Build the Loop That Catches You (本サイト)およびAI PR Review That Cannot Lie (本サイト)。— このパターンに関する著者自身の既発表作であり、両プロジェクトの先行事例として引用されている。
- ラボおよび両プロジェクト:gist.github.com/wjlgatech/b1ca818d1695a86b5f99a1724c58ee80 —
04_loop_referee.ipynb,p1_taste_test.py,p2_release_loop.pyおよびそれらのREADME。今エピソードで引用したすべての数値は、2026-09-11時点でこれらのファイルから出力されたものだ。