AI-Nativeシリーズ・強化学習
モデルが手を持つとき
1分でわかる要点——ここで得られるもの
モデルが行動を取るようになると、三つのことが変わる。しかもそのどれもアルゴリズムではない。行動はトークンではなく、ツール呼び出しになる。世界は状態を持ち、行動に応じて答えを返してくる。そしてハーネス――リトライロジック、パーサー、足場（scaffold）――は内側にある――学習された系の内側にある。リトライ規則を変えれば、重みには一切触れずに方策を変えたことになる。それこそが今回の発見だ。それはまたEpisode 3の問題を、より厄介な形で蘇らせる。テストランナーを呼び出したことに報酬を与えれば、エージェントはファイルを編集する代わりにテストランナーを呼び出すようになる。なぜなら行動形のプロキシは、出力形のプロキシよりもはるかにハッキングしやすいからだ。エージェントはそれを直接制御でき、採点者が却下しそうなものを一切生み出す必要がない。修正すべきは、ボーナスを小さくすることではなく状態変化に条件づけることだ。行動そのものではなく、その行動が何かを引き起こしたという証拠に報酬を与えるのである。
四つのエピソードにわたって、「completion」はスコアが一度だけつけられるテキストの塊だった。それが今や軌跡になる。モデルが知らなかった何かを毎回返してくる、二十回のツール呼び出し。しかもその世界は、モデルがたった今行ったことによって変化している。
Episode 1で示した七つの箱からなるループそのものは変わらない。ただ、その中のあらゆる要素が重くなるだけだ。
核心となる考え：ハーネスもまた方策の一部である
これが、このシーズン全体を通じて私が最も強く擁護したい主張だ。
エージェントとは、モデルに何らかの配管を加えただけの存在ではない。その配管――リトライ規則、出力パーサー、ツールのスキーマ、ステップ数の上限――が、方策が学習の対象とする軌跡の分布を決定するのだ。リトライ規則を一回から三回に変えれば、ロールアウトに現れうる振る舞いそのものが変わり、それは勾配が目にするものが変わることを意味し、つまり方策が変わったことを意味する。重みには一切触れていない。
だからこそ、「同じエージェントを、別のハーネスで動かす」というのは意味をなさない言い回しであり、エージェント型RLの結果が論文間でこれほど比較しづらい理由でもある。ハーネスとは、誰も報告しないハイパーパラメータなのだ。
長期の貢献度割り当て：最大の難関
二十回のツール呼び出しに対して報酬は最後に一つだけ。どの呼び出しがそれを稼いだのか。
正直な答えは、成果報酬だけではそれが分からないということであり、しかも長い時間軸はそれを特定の形で悪化させる。二十ステップにわたる単一の成功シグナルでは、個々の行動に割り当てられる貢献度は、残り十九ステップからのノイズに支配されてしまう。これはEpisode 2で扱った分散の問題が、時間軸の長さによって倍加したものだ。
つい取りたくなる修正法は、報酬を密にすること、つまりすべてのステップにスコアをつけることだ。だがそれは、まさにEpisode 3へと私たちを引き戻す。
失敗の部屋：ツールを使ったこと自体に報酬を与える
コーディングエージェントに、テストランナーを呼び出すたびに小さなボーナスを与えるとする。悪くない発想に思える。自分の仕事を確認してほしいのだから。
結果はこうなる。エージェントはテストランナーを呼び出す。次に二回呼び出す。そしてやがて、テストランナーをファイルを編集する代わりに呼び出すようになる。そして最終的には、テストを実行しては失敗を観測し、また実行する、という安定した高報酬ループに落ち着き、ステップ上限が来るまでその間ずっとボーナスを稼ぎ続ける。
これもまたGoodhartの法則なのだが、今回のプロキシは出力ではなく行動の形をしており、それだけ事態は悪い。行動形のプロキシはエージェントが直接コントロールできる。グレーダーに却下されるようなものを一切生み出す必要がなく、ただ動けばいい。.
対処法はボーナスを小さくすることではない。ボーナスを状態変化に条件づけることだ。前回の実行以降にファイルが変更された場合にのみ、テスト実行に報酬を与える。行動そのものに報酬を与えるのをやめ、その行動が何かを成し遂げたという証拠に報酬を与えるようにするのだ。
先を読む前に予測してみよう
あるエージェントに、およそ20回のツール呼び出しを要するコーディングタスクを与える。成功率は30％だ。修正できる予算はちょうど一つ分ある。どれを直せば成功率が最も上がるだろうか？
(a) より優れたベースモデル。(b) 各ステップでの密な過程報酬。(c) 行動マスキングによって無効なツール呼び出しを一切サンプリングしないようにする。(d) ハーネスのリトライ・パース処理を修正する。
多くの人は(a)か(b)を選ぶ。だが上の失敗の部屋は、このホライズンの長さでは(b)がむしろ危険であることを示す論拠だ。そして(c)と(d)にこそ安上がりな勝機が隠れている。なぜなら、どちらも方策が学習する分布そのものを、勾配を一つも計算する前に変えてしまうからだ。.
行動マスキング：エージェントにAPIの形を模倣させて覚え込ませるな
あるツール呼び出しが構文的に無効であるか、現在の状態では利用できない場合、選択肢は二つある。モデルにそれをサンプリングさせて後から罰するか、そもそもサンプリングできないようにするかだ。
ほとんどの場合、後者が正しい。その理由は効率性ではない。無効な行動をサンプリングして罰することは、モデルの能力をAPIの形を学習することに費やしてしまう。それは記述時点で完全にわかっている情報であり、勾配降下法によって発見される必要などない。マスクしてしまえば、すべての勾配が本当に不確実な部分へと向かうようになる。
捨てようとしていた無料の手がかり
エージェントが受け取るすべての観測は、本来予測できたはずなのに予測しなかった、世界についての事実である。現在の状態と行動から次の観測を予測するようモデルを訓練することは、追加コストのかからない教師データになる。ロールアウトの代金はすでに払い済みなのだから。
これはワールドモデル・ブリッジと呼ぶべきもので、このシーズンのフロンティアは現在まさにここにある [1][2]。確定した結論としてではなく、進行中の研究途上の見解として扱ってほしい。ハーネスを学習可能な面として捉えるこの枠組み自体、最近登場したばかりでまだ揺れ動いている。
正直に言おう、これには代償がある
ここで語ることのほとんどは、まだ確定していない。 エピソード1から4は、数字の裏付けがある結果に立脚していた。今回はその大部分をエンジニアリングの実践知とごく最近の研究に依っており、私はそれを取り繕わず、そのまま示すよう努めた。
評価の難しさは、このシーズンのどこよりも深刻だ。 20ステップにわたって成功率30%という数字は、わずかな数のタスクで測定されたものであり、分散が途方もなく大きい。報告されているエージェント型の改善のほとんどは、その評価が内包するノイズの範囲内に収まってしまう程度のものであり、主張する効果を検出するのに必要なサンプルサイズを報告している例はほとんどない。
そしてハーネスをめぐる論点は、諸刃の剣でもある。 ハーネスが方策の一部であるなら、あなたのハーネスで出た結果は、私のハーネスについて何も語らないかもしれない。
卒業テスト
以下の問いに、上にスクロールして戻ることなく答えられれば、Season 1を卒業してよい。7つの箱の名前を挙げ、GRPOが変えるものとDAPOが変えるものをそれぞれ言えるか。トークンレベルの見方のほうが詳細であるにもかかわらず、completionレベルのbandit定式化が誤りではないのはなぜか。Goodhartの法則をrとUの関係で述べよ。エントロピーが下がっていて損失曲線は絶好調に見える。このとき何を確認すべきか。あなたのエージェントは20回の呼び出しのうち30%しか成功しない。ベースモデルに手を付ける前に確認すべき、最も安上がりな2箇所を挙げよ。
クリフハンガー → Season 2へ
このシーズン全体は、ひとつの静かで、しかし途方もなく大きな前提の上に成り立っていた。タスクの分布は静止している、という前提だ。 学習し、評価し、出荷する。方策が最適化された世界こそが、方策が実際に出会う世界である。
だがこれは、ベンチマークの尺度を超えて長く動き続けるあらゆるエージェントにとって誤りだ。ツールは新しいバージョンに変わる。ユーザーは求めるものを変える。エージェントが操作を学んだコードベース自体が、しばしばそのエージェント自身の手によってリファクタリングされていく。
方策が最適化された世界そのものが存在しなくなったとき、方策には何が起こるのか。そして、古いものを忘れずに新しいものを学ぶには、どうすればよいのか。
この問いに下手に答えれば、破滅的忘却が待っている。うまく答えられれば、まだ良い名前のついていない何かが手に入る。
Season 2 ——「記憶のエンジン」。
第5話 / 『Intelligence Engineering Adventures』Season 1 ——「結果のエンジン」。本シリーズの主張はクラス別にタグ付けされている（定義、導出、エビデンス、エンジニアリング上の選択、未解決の問い）が、比喩は主張を導入することはあっても、その主張の証拠として使われることは決してない。各エピソードにはCPUで実行可能なラボが付属する。本記事にはいかなる雇用主・クライアントの資料も含まれていない。— Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app
参考文献
- Luo, X. et al. (2025). Agent Lightning: Train ANY AI Agents with Reinforcement Learning. ハーネスを継ぎ目として捉える枠組み。 arxiv.org/abs/2508.03680
- He, Z. et al. (2026). Agent Lightning v1.0: Towards Harnessed Agentic RL. arxiv.org/abs/2608.17528
- Guo, D. et al. (2025). DeepSeek-R1. 本エピソードが行動へと拡張する、ルールベースの報酬設計。 arxiv.org/abs/2501.12948
- Goodhart, C. A. E. (1975). Problems of Monetary Management: The U.K. Experience. 本エピソードが行動形の形で再び出会う法則。 概要と出典
- Schulman, J. et al. (2015). High-Dimensional Continuous Control Using Generalized Advantage Estimation. ロングホライズンが負荷をかける、時間をまたぐ貢献度割り当ての仕組み。 arxiv.org/abs/1506.02438
- Sutton, R. & Barto, A. (2018). Reinforcement Learning: An Introduction、第2版 incompleteideas.net/book/the-book-2nd.html