AI-Nativeシリーズ・強化学習

The Consequence Engine

著者：Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app · 2026-08-24 · 全5話中の第1話

言語モデル向けの強化学習について読んでいると、ある種特有の疲労感に襲われる。

最初はPPOから入る。すると誰かが、PPOはもう古い、今はGRPOだと言い出す。次にGRPOにはバイアスがあるからDr.GRPOだと言われる。さらにGRPOは大規模になると崩壊するのでDAPOだという。次はGSPOだ、比率の粒度が間違っていたからだと。次はCISPOだ、クリッピングが面白いトークンまで削ってしまうからだと。そしてTISだ――学習エンジンと推論エンジンとで、割り当てた確率が食い違っているからだと。

九個目の頭字語にたどり着く頃には、正直な内心の声はこうなっている――am I supposed to have read nine papers to understand one idea?（訳：一つのアイデアを理解するために、九本の論文を読まなければならないのか？）

いや、そうではない。必要なのは、一枚の絵だけだ。

たった一つのアイデア：七つのボックスがあり、誰もがそのうち二つを編集しているだけだ

事前学習と教師ありファインチューニングは、同じ問いを二つの異なるアクセントでモデルに投げかけている。すなわち――can you predict or imitate the desired output?（訳：望ましい出力を予測、あるいは模倣できるか？）

一方、強化学習が問うのは、まったく種類の異なる問いだ。すなわち――

Can you act, observe the consequences, and change the probability of your future behaviour so that useful outcomes become more likely?（訳：行動し、その結果を観察し、有用な結果がより起こりやすくなるように、自らの将来の行動の確率を変えられるか？）

この分野全体は一文に凝縮でき、それは七つの役割からなるループとして動いている。タスク――モデルがどのような状況に置かれているか。方策――可能な行動それぞれにどのような確率を割り当てるか。ロールアウト――実際にサンプリングしたとき、モデルは何をしたか。報酬――その結果はどれだけ良かったか。貢献度割り当て — どの行動が称賛や非難に値するかを判定する。更新——パラメータを変更する。評価——その変化は汎化したのか、それともスコアボードを喜ばせただけなのか。

ここからが本題だ。九つの略語それぞれについて、どの箱に触れているかを見ていこう。

七つのうち五つが同じ箱に着地する。これらは九つの主題ではない。ひとつの問いをめぐる長い論争なのだ——この結果は、我々が期待すべきだった水準より良かったのか？——それを、前の答えが壊れる新しい方法を次々と見つけ出す人々が、代々受け継いできたというわけだ。

この観察は、略語による精神的な脱水症状とでも呼ぶべき状態から、読者を救ってくれるはずだ。

なぜこのループは教育用の道具ではないのか

七つの箱は、この記事のような文章のために発明された親しみやすい図にすぎず、実際のシステムはもっと混沌としているのではないか——そう疑うのはもっともなことだ。ここに、私の考えを変えた反例がある。

DeepSeek-R1-Zeroはベースモデルを取り、AIME 2024のpass@1スコアを次のように改善した：15.6%から71.0%へ[1]。競技数学のベンチマークで、およそ四倍だ。最終版のR1モデルは、さらなる教師あり学習とRLパイプラインを経て、約79.8%へ到達する[1]。

何を変えたのか？アーキテクチャではない。事前学習でもない。彼らが変えたのは報酬の箱——学習済みのニューラルクリティックを、ルールベースのシグナルに置き換えたのだ。最終的な答えが、指定されたボックス内で正しいか、そして出力が求められた<think>…</think><answer>…</answer>フォーマットに従っているか[1]。そして彼らは貢献度割り当ての箱も変えた。GRPOを用いて、学習済みの価値モデルを廃し、代わりに兄弟ロールアウトの集団からベースラインを計算するようにしたのだ[2]。

二つの箱。四倍の改善。このループが本体を支えている。

メカニズムをもう一段掘り下げる：RLは確率質量を動かす

これは私自身、理解するまで恥ずかしいほど時間がかかったことだ。だが理解した瞬間、以降のすべての略語が読み解けるようになる。

方策勾配の更新は、モデルに事実を教えるものではない。それは確率質量を再分配するものだ。ロールアウトがうまくいくと、更新はそれを生み出したトークン列の確率を引き上げる。そして確率の総和は1でなければならないから、他のすべてがわずかに引き下げられる。それだけのことだ。

ここに危険が潜んでいる。モデルが10回の試行のうち1回だけ問題を正しく解いたとして、その一つの成功例で学習させたとしよう。モデルは推論の手順を学んだのか。それとも単に運が良かっただけで、その「運の良い経路」をより起こりやすくしてしまっただけなのか。

結果だけからは分からない。 同じ報酬から、まったく異なる二つの学習イベントが生まれうる。だが報酬シグナルだけでは、その違いを区別できない。これこそが、あの図の「貢献度割り当て」の列がまるごと存在している理由となる失敗であり、その最初の修正策は拍子抜けするほど単純な問いだ。

この結果は、私たちが本来期待すべきだった水準より良かったのか?

期待値を差し引けば、運に報酬を与えてしまうことはなくなる。この「差し引き」がベースラインだ。その期待値を第二のモデルで学習させればクリティックになる。代わりにグループから計算すればGRPOになる。それをどう正規化するかで議論すればDr.GRPOになる。結局のところ、すべては一つの項をめぐる話なのだ。

先を読む前に予測してみよう

次のセクションに進む前に、答えを一つ決めてほしい——予測というものの意味は、外れる可能性があってこそ成り立つ。

あなたのモデルが数学の問題を10回に1回の割合で正しく解いたとする。その唯一の成功した軌跡でファインチューニングした。何が起きたのか：(a) 推論アルゴリズムを学習した、(b) 狭い軌跡を丸暗記した、(c) たまたまうまくいった領域の周辺の確率を引き上げた——のいずれだろうか。

研究者として誠実な答えは、結果だけからは判断できないというものであり、それ以外の主張はすべて、モデルについての主張ではなく、評価方法についての主張にすぎない。この三つの仮説を切り分けるには、pass@k、意図的な探索の測定、そして分布シフトを用いたホールドアウト評価が必要だ。評価が単一の精度の数字しか報告していないなら、この三つはすべて同じに見えてしまう。

代償は何か——正直に言おう

七つの箱の地図は一種の圧縮であり、圧縮には失われるものがある。重要なものが三つある。

この地図は、本物の数学的な違いを平板化してしまう。 PPOのクリップ付き代理目的関数とGRPOのグループ相対アドバンテージは、どちらも「貢献度割り当て」の列に属しているからといって、互換性があるわけではない。この地図はどこを見ればいいかを教えてくれるが、導出そのものは教えてくれない。

二つの箱は意図的に省かれている。 実際のシステムには、同じトークンに異なる確率を割り当てうる訓練用エンジンと推論用エンジンが存在し、さらにロールアウトがどれだけ古くなったら破棄すべきかを判断する非同期スケジューラも存在する。これらは箱と箱の間で作用し、本当に厄介な種類のバグを引き起こす。

そして地図は、何を最適化すべきかまでは教えてくれない。 報酬より下流にあるすべての箱は、選んだ数値を追い求めるための機械にすぎない。その数値の選び方が悪ければ、それは貢献度割り当ての列では直せないバグだ。これがEpisode 3のテーマであり、このシリーズで最も古くからある問題である。

自分の手で動かしてみる、所要時間は約15分

「ベースラインは分散を減らす」という主張は、うなずくのは簡単だが、実際に目にするまでは本当には信じがたい類のものだ。このシーズンでは各エピソードにCPUだけで動くラボを用意している——GPU不要、モデルのダウンロード不要、素のPyTorchだけだ。

Episode 1のラボでは、同じタスク・同じシードでベースラインありとなしの方策勾配を実行し、更新の分散をプロットする。注目すべきは、ベースラインありのバージョンのスコアが高いことではない。ベースラインなしのバージョンも結局はそこにたどり着くということだ。ただし、その道のりのあいだずっと激しく揺れながら。ベースラインを取り除いても推定量が間違いになるわけではない。ただ、コストが高くつくようになるだけだ。この違いこそ、ベースラインが標準になるまでに何年もかかった理由であり、最終的な数値だけを報告するどんな記事にも見えてこない点である。

この先の展開

五つのエピソード、一つのループ、それぞれが次への権利を勝ち取っていく。

Episode 2では貢献度割り当ての箱をきちんと開けて見せる——対数微分トリック、ベースライン、アドバンテージ、そしてREINFORCEからPPO、GRPOへと続く一連の議論としての道筋だ。Episode 3では、スコアボード自体が間違っていたらどうなるかを問い、経済学者たちが1975年にその法則をすでに書き記していたことを発見する。Episode 4は、洗練されたアルゴリズムが長い系列と古くなったロールアウトに出会うとどうなるかという話だ。Episode 5は、モデルがテキストを生成するのをやめて、応答してくる世界の中で行動を取り始めるときの話である。

この回から持ち帰るべきことが一つある：次の新しいアクロニムが現れたとき——それはきっと現れる、おそらく今月中に——それが何なのかを問うな。どの箱を編集するのかを問え。 その問いは、どんな要旨からでも約90秒で答えが出せるものであり、その論文が今のランで壊れている問題に関連しているかどうかを教えてくれる。

Episode 1 of Intelligence Engineering Adventures, Season 1 — The Consequence Engine（訳：知的エンジニアリングの冒険、シーズン1——結果を生み出すエンジン）。実行可能なラボ、図表、そして五話分の全体の流れはシリーズのソースに収録されている。本稿の主張はソース内でクラスごとにタグ付けされている——定義、導出、証拠、エンジニアリング上の選択、未解決の問い——であり、比喩は主張を導入することはあっても、それ自体が証拠として機能することは決してない。本稿にはいかなる雇用主・クライアントの資料も含まれていない。——Paul Jialiang Wu・agentic-portfolio-lovat.vercel.app

参考文献

1. Guo, D. et al. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.（訳：DeepSeek-R1：強化学習によるLLMの推論能力の獲得） AIME 2024のpass@1の数値（R1-Zeroの15.6%→71.0%、R1の約79.8%）と、ルールベースの正解率報酬＋フォーマット報酬の設計の出典。 arxiv.org/abs/2501.12948
2. Shao, Z. et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models.（訳：DeepSeekMath：オープン言語モデルにおける数学的推論の限界を押し広げる） GRPO を導入——学習済みクリティックを排し、グループ相対のベースラインを用いる。 arxiv.org/abs/2402.03300
3. Yu, Q. et al. (2025). DAPO: An Open-Source LLM Reinforcement Learning System at Scale. Clip-Higher と Dynamic Sampling。Qwen2.5-32B で AIME 2024 50点、DeepSeek-R1-Zero-Qwen-32B の47点に対し、学習ステップ数は50%。 arxiv.org/abs/2503.14476
4. Liu, Z. et al. (2025). Understanding R1-Zero-Like Training: A Critical Perspective（Dr.GRPO）。GRPO における長さバイアスと標準偏差正規化による難易度バイアスを特定。 arxiv.org/abs/2503.20783
5. Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning誌。REINFORCE の原論文。 link.springer.com/article/10.1007/BF00992696
6. Sutton, R. & Barto, A. (2018). Reinforcement Learning: An Introduction、第2版。本稿で用いる定義の出典。 incompleteideas.net/book/the-book-2nd.html
7. Ahmadian, A. et al. (2024). Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs. arxiv.org/abs/2402.14740