AI-Nativeシリーズ・強化学習
報酬とは世界そのものである
1分でわかる要点——ここから持ち帰れるもの
あらゆるRLシステムには2つの関数が存在するが、そのうちコードに書けるのは片方だけだ。UU(x) は、あなたが本当に望んでいるものだ。rR(x) は、あなたが実装したプロキシである。オプティマイザが最大化するのはR(x)rであり、U(x) とR(x) が食い違う領域に到達できる限り、オプティマイザは必ずその領域を見つけ出す——それは悪知恵が働くからではなく、それがオプティマイザの仕事だからだ。これがGoodhart's Law（訳：グッドハートの法則）は、1975年に発表された次の一節に集約される。any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.（訳：観測された統計的規則性は、それが制御目的で圧力をかけられた瞬間、崩壊する傾向がある。）この視点の転換が値打ちを持つのは、何が効かないかを教えてくれる点にある。報酬ハッキングはRLHFから取り除くべきバグではなく、プロキシに向けられたあらゆる制御システムに共通する一般的な振る舞いだ。だから有用な問いは「私の報酬は正しいか？」ではなく、「それはどれだけの最適化圧力に耐えられるか？」というものであり——そして後者だけが数値で表せる。
二つの関数を書き出してみよう。 U(x)
U(y)——真の効用だ。あなたが本当に望んでいるものである。この関数は決してコードベースには存在しない。存在しようがない。もし正確に書き下せるなら、そもそも機械学習など必要ないはずだ。 R(x)
r(y)——実装されたプロキシだ。選好で訓練された報酬モデル、ユニットテスト、審査員がスコアをつけるルーブリックなど。こちらは実際にコードベースに存在し、そしてオプティマイザが見ることのできる唯一のものだ。
このエピソードで語るすべての失敗は、この二つの間の隙間に潜んでいる。
一つの着想：この法則は五十年前のものだ
報酬ハッキングを言語モデルが発明した何かだと結論づける前に、経済学者たちがRLHFの存在する半世紀も前にこれを書き記していたことに注目してほしい。
1975年、Charles Goodhartは英国の金融政策について次のように述べている [1]。
Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.（訳：観測された統計的規則性は、それが制御目的で圧力をかけられた瞬間、崩壊する傾向がある。）
多くの人が知っているフレーズ——"when a measure becomes a target, it ceases to be a good measure"（訳：「尺度が目標になったとき、それはもはや良い尺度ではなくなる」）——は実はGoodhart自身の言葉ではない。人類学者Marilyn Strathernが1997年に述べたものだ [1]。知っておいて損はない。原典のほうが有用な言明だからだ。それは圧力について語っており、症状ではなくメカニズムそのものを指し示している。
Donald Campbellも1969年にさかのぼる定式化をもって、1979年 [2] の時点でおそらくGoodhartより早くこの点にたどり着いていた。
定量的な社会指標が社会的意思決定に使われれば使われるほど、それは腐敗圧力にさらされやすくなり、本来監視すべきだった社会的プロセスをかえって歪め、腐敗させやすくなる。
我々の記法で言えば、rが最適化のために使われ始め、観測のためではなくなった瞬間、rとUの相関——そもそもrを使う根拠となっていたその相関——が崩れ始める。しかも、最適化圧力が最も強くかかる場所でこそ、最も速く崩れていく。
この転換になぜ注意を払う価値があるのか
それは、どの修正が効かないかを教えてくれるからだ。
報酬ハッキングがRLHF固有のバグであれば、修正策はより良い報酬モデルということになるだろう。しかし実際には、プロキシに向けられたあらゆる制御システムに共通する一般的な振る舞いであり、それを裏付ける失敗した対策の五十年の歴史がある。テストに合わせた教育、待ち時間目標をごまかす病院、ネズミ農場を生み出した植民地時代のネズミ懸賞金——そのすべてが、より精緻に規定された目標によって対処された。そして、そのすべてが結局ゲームの対象にされた。
だから、エンジニアリング上の帰結は問いそのものを変えることにある。「この報酬は正しいか」と問うのをやめ、「この報酬はどれだけの最適化圧力に耐えられるか」と問い始めるべきだ。これらは異なる問いであり、数値がついているのは後者だけだ——ステップ数、KL予算、best-of-n、あるいはあなたがかけている力をどう測るにせよ。
現実がまだ採点してくれる唯一の場所
狭いが確かな逃げ道が一つだけある。世界そのものが答えを検証できる場合があるのだ。
RLVR——検証可能な報酬からの強化学習——は、学習された報酬モデルを、口先で丸め込むことができない何かに置き換える。ユニットテストは通るか。求められた形式の箱の中にある最終解答は、既知の正解と一致するか。
DeepSeek-R1-Zeroは、これが単なる玩具ではないことを示す最も強力な証拠だ [3]。ルールベースの報酬のみを使用する：検証可能な解答に対する正答性に加え、求められた<think>…</think><answer>…</answer> という構造を出力することへの形式報酬のみだ。ループのどこにもニューラルなクリティックは存在しない。AIME 2024のpass@1は15.6% to 71.0%（訳：15.6%から71.0%）へと伸び、最終的なR1モデルは教師ありの学習とRLを組み合わせたパイプラインをさらに経て、およそ79.8%79.8%に達する[3]。
検証器は狭い。モデルに求めるものの大半はユニットテストでチェックできないからだ。だがその狭い領域の中では誠実である。そしてオプティマイザが強力なときには、誠実さが広さに勝る。
先を読む前に予想してみよう
あるコーディングタスクに、二つの報酬源があるとする。ソースAは、コード品質に関する5万件の人間の判断で訓練された選好モデル。ソースBは、リポジトリに既存のテストスイートだ。
長時間のラン、高い最適化圧力——あなたは本気で訓練する。どちらの報酬をより信頼すべきか、そしてなぜか。
多くの人はカバレッジを理由にAを選ぶ。可読性、スタイル、意図——テストには捉えられないものすべてを捉えられるからだ。その直感は何を測っているかについては正しいが、何が圧力に耐えるかについては間違っている。Aは有限のサンプルから学習された統計的規則性であり、アノテーターが一度も想定しなかった方向にオプティマイザがよじ登れる、豊かで滑らかな表面を持っている。Bは狭く、脆く、退屈だ——そしてお世辞を言えば喜ぶような「意見」を持たない。
失敗の部屋：段落生成マシン
より長く、より構造化された回答をわずかに好む報酬モデルに対して訓練する。病的なところは何もない——正直に学習された、本物の選好だ。
得られる結果は順を追ってこうなる。まずわずかに長い回答。次に見出し付きの回答。次に見出しと箇条書きと要約が付いた回答。そして最終的には、正解が「no」の一言であるべきときに、見事に整形された三段落のエッセイを生成するモデルだ。
何も壊れていない。報酬モデルが間違っていたことは一度もない——人間は実際に、その訓練された分布の上では平均として構造を好む。オプティマイザは単に、その分布の端まで歩いて行き、そのまま歩き続けただけだ。そして歩けば歩くほど、その平均が意味するものは薄れていった。
正直に言おう、これにはコストがかかる
Goodhartの法則は、何をすべきかまでは教えてくれない。それは診断であって治療ではない。プロキシが圧力の下でドリフトすることを知っていても、どれだけの圧力なら許容できるのかまでは教えてくれない。
検証器もまた、この問題と無縁ではない。 テストスイートもまた、動くソフトウェアのためのプロキシに過ぎない。それに対して十分に強く最適化すれば、テストは通るが何の役にも立たないコードが出来上がる。
そして、Uを測定する手段はそもそも原理的に存在しない。 報酬ハッキングを検出したと主張するどんな実験も、方策が一度も学習に使っていないホールドアウトの効用を必要とする。つまり、「書き下せない」と言っていたものの少なくとも一部を、結局は書き下さなければならないということだ。
この先の展開
エピソード4では「何を」最適化するかという問いを離れ、洗練されたアルゴリズムが長い系列・古びたロールアウト・システムの現実にぶつかったときに何が起きるかを扱う。そこでの失敗は、間違った数値を追いかけたことではなく、数千ステップも前にすでに学習が止まっていたのに、損失曲線がそれを一切語らなかったことにある。
本稿は、Intelligence Engineering Adventures, Season 1 — The Consequence Engineのエピソード3である。本シリーズの出典における主張は、定義・導出・エビデンス・エンジニアリング上の選択・未解決の問い、というクラスごとにタグ付けされている。比喩はある主張を導入することはあっても、その主張の根拠として使われることは決してない。各エピソードにはCPUで実行可能なラボが付属する。本記事にはいかなる雇用主・クライアントの資料も含まれていない。——Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app
参考文献
- Goodhart, C. A. E. (1975). Problems of Monetary Management: The U.K. Experience. Goodhart's Lawの出典である。広く引用されている「measureがtargetになった瞬間、それは良いmeasureではなくなる（訳：when a measure becomes a target, it ceases to be a good measure）」という言い回しは、実はGoodhart自身の言葉ではなく、Strathern, M. (1997), Improving Ratings: Audit in the British University System, European Review 5(3), 305–321 によるものである。概要と出典
- Campbell, D. T. (1979). Assessing the Impact of Planned Social Change. Evaluation and Program Planning, 2(1), 67–90. その定式化は1969年まで遡り、Campbellに優先権があるとも言える。要約と背景
- Guo, D. et al. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. AIME 2024の数値（R1-Zeroで15.6%→71.0%、R1で約79.8%）とルールベースの正解率＋フォーマット報酬設計の出典。 arxiv.org/abs/2501.12948
- Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback（InstructGPT）。本エピソードが批判するRLHFパイプラインである。 arxiv.org/abs/2203.02155
- Rafailov, R. et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. arxiv.org/abs/2305.18290
- Bradley, R. A. & Terry, M. E. (1952). Rank Analysis of Incomplete Block Designs. Biometrika誌。あらゆる学習型報酬モデルの根底にある選好モデルだ。 doi.org/10.2307/2334029