Paul Jialiang Wu agentic-portfolio English 中文 Español 한국어✉️ 無料リスト
← ポートフォリオに戻る

AI-Nativeシリーズ・リサーチ

モデルに問題を書かせ、ソルバーに答えを署名させよ

著者:Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app · 2026-08-04

1分でわかる要点

言語モデルは何が重要かを推論できるが、計画が実現可能だと約束することはできない。整数計画法のソルバーは実現可能性を約束できるが、何が重要かを決めることはできない。2024〜2025年の研究(LLM-Modulo、OptiMUS、AlphaGeometry)と私自身の三つのシステムは、一つのアーキテクチャに収束する——モデルが問題を書き、ソルバーが答えに署名し、二段階の周期を持つMPCループが現実からの報告を受けて再解決する。そこには設計上必ず対処すべき一つの失敗モードがある。ソルバーがモデルの当てずっぽうを、偽りの権威に洗浄してしまうという問題だ。

言語モデルに四半期の計画を立てさせれば、美しいものが出来上がる。もう一度尋ねれば、美しいが違う計画がもう一つ出来上がる——そしてそのどちらかを実際の制約(このエンジニアはもう埋まっている、この締め切りは動かせない、この予算には上限がある)と照らし合わせれば、いくつもの制約をさりげなく破っていることに気づく。代わりに二値整数計画に尋ねれば、与えたすべての制約を証明可能な形で満たす答えがただ一つ返ってくる——ただし、与えた制約が正しかったかどうか、最大化しろと頼んだものが本当に最大化する価値のあるものだったかどうかは、決して教えてくれない。

この二つは競合するツールではない。脳の二つの半球であり、この記事が扱う本当に興味深いエンジニアリングの問いは、その継ぎ目.

研究が実際に決着をつけたこと

ここ2年で、「LLMは計画できるか」という問いに対して、驚くほど明快な答えが出た——それは勝者を決める話ではなく、役割分担の話だ。

その一:LLMは保証者にはなれない。Kambhampatiらは、ICML 2024のposition paperでこう率直に述べている。"We argue that auto-regressive LLMs cannot, by themselves, do planning or self-verification (which is after all a form of reasoning)"(訳:私たちは、自己回帰型LLMは単体では計画も自己検証も——それが結局は推論の一形態である以上——できないと主張する) [1]。その実証的裏付けも同じくらい容赦がない。Game of 24、グラフ彩色、古典的プランニングのタスクにおいて、Stechly et al. はモデルに自分の答えを批評させると、むしろ結果が悪化することを発見した。"We observe significant performance collapse with self-critique and significant performance gains with sound external verification"(訳:自己批評では有意な性能低下が見られ、健全な外部検証では有意な性能向上が見られる) [2]。関連研究も「self-critiquing appears to diminish plan generation performance, especially when compared to systems with external, sound verifiers」(訳:自己批評は計画生成の性能を低下させる傾向があり、これは外部の健全な検証器を備えたシステムと比較すると特に顕著である)と結論づけている [3]。平たく言えば、LLMがLLMを検証するのは、噂が噂を裏取りしているようなものだ。

その二:LLMは問題を書くことに驚くほど長けている。StanfordのOptiMUSは自然言語の記述を混合整数線形計画に変換し、「can develop mathematical models, write and debug solver code, evaluate the generated solutions, and improve its model and code based on these evaluations」(訳:数理モデルを構築し、ソルバーのコードを書いてデバッグし、生成された解を評価し、その評価に基づいてモデルとコードを改善できる) [4]——従来の最先端を20〜30%上回る性能だ。ICLR 2024で発表されたChain-of-Expertsは、複雑な運用研究(OR)モデリングのために「the first LLM-based solution, namely Chain-of-Experts (CoE), a novel multi-agent cooperative framework to enhance reasoning capabilities」(訳:初のLLMベースの解決策、すなわちChain-of-Experts(CoE)——推論能力を強化する新しいマルチエージェント協調フレームワーク)を提示した [5]。2025年にはOR-LLM-Agentがパイプラインを「three sequential stages: mathematical modeling, code generation, and debugging」(訳:数理モデリング、コード生成、デバッグという3つの連続段階)に分解し、OR関連ベンチマークで最先端の汎用モデルを上回った [6]。定式化——混沌とした状況を決定変数と制約条件へと翻訳する、あの地味でミスを誘発しやすい作業——は、まさに人間が嫌い、モデルが得意とする部分である。

そして、この組み合わせが機能する証拠となる好例がある。AlphaGeometryは「uses a neural language model, trained from scratch on our large-scale synthetic data, to guide a symbolic deduction engine through infinite branching points」(訳:大規模な合成データでゼロから学習したニューラル言語モデルを用いて、無限に分岐する探索点でシンボリック推論エンジンを導く)システムによって、金メダルに迫るオリンピアード級の成績を達成した [7]。ニューラル側は探索が爆発する地点で候補を提案し、シンボリック側が確実に導出する。25問を解いたのに対し、最良のシンボリックのみのシステムはわずか10問だった。どちらか単体では、この域には到底届かない。

もう一つ触れておきたいのは、私のプランナーの土台になっている考え方だ——レシーディング・ホライズン制御(一定の窓を計画し、実行し、現実を観察し、実際に立っている地点から再計画する)は、ロボティクス専用の小技ではない。それは意思決定における一般的なパラダイムであり、最近の研究では競争的サプライチェーン全体をエージェントとしてモデル化し、「every agent re-plans their actions in a receding horizon manner based on estimates of market and supplier parameters」(訳:すべてのエージェントは、市場とサプライヤーのパラメータの推定値に基づき、レシーディング・ホライズン方式で自らの行動を再計画する)としている [8]。

私の手元にある3つのシステム

私はこの問いに文献から辿り着いたわけではない。それぞれが別々の役割を担う3つの実物を、互いが一台の機械の部品であるとは知らないまま、何年もかけて別々に手にしていたのだ。

ソルバー:Life GPS(2019年、公開)。全体の経緯は前回のエッセイで語った通りだ。週を時間帯のグリッドとして扱い、その上で二値整数計画を解く週間プランナーであり、決定変数はスロットへのタスク割り当て、目的関数は重み付き充足度、制約条件はスロットあたり1タスク、タスクごとの下限・上限、締め切りだ。書き直したPythonエンジン(x[slot,task] ∈ {0,1}allocator.py、PuLP + CBC)は、最も重要な部分を担っている。replan()それは過去を確定させ、実際に費やした分だけ各予算を減算し、残りのホライズンを再解決する——人生に適用されたモデル予測制御(MPC)だ。そして、本稿の調査中にようやく気づいたのだが、この書き直し版にはすでに2つのLLM接続点がある。intake()一方は注入された指示文llm_fnを受け取り、「MVPを出荷する、毎日瞑想する、週5日、1日8時間」というような入力を、検証済みの問題定義へと変換する。PlanRequest; explain()もう一方は、解かれたグリッドを文章として語り直す。以下で紹介する統合は、ソルバーにAIを後付けで貼り付けようという提案ではない。ソケットはすでに壁に埋め込まれている。

戦略家(非公開)。私が非公開で保有している戦略オペレーティングシステムだ。診断(Rumelt流のカーネル――実際に何が起きているのか?)から出発し、本当に異なる選択肢群、ストレスシナリオ、競合の反応を経て、意思決定ノードへと至る。このノードはalways signed by a human(訳:常に人間の署名を要する)という規律あるパイプラインを走らせている――すべての主張は証拠によってゲートされ、実行はリーディング指標と、前提が崩れたときに発火するトリップワイヤーによって追跡される。最適化の言葉で言えば、このシステムが生み出すのは、まさにソルバーが自力では生み出せないもの――目的関数(何に価値を置くか、各重みを裏付ける証拠とともに)と制約集合(どのルールが拘束力を持つか、そしてなぜか)である。

おもちゃではない証拠(非公開)。戦略エンジンが最初に本番投入された現場は、ロールゲート付きのチームハブを通じて動いている――実際のクライアント案件で、証拠レジスタ、選択肢、90日プランのすべてが同じパイプラインから流れ出す。ここで重要なのはただ一点:実案件における重みと制約は、名前の付いた証拠と人間の署名を伴ってやってくるのであり、モデルの雰囲気ではない、ということだ。

アーキテクチャ――三層、二つの時計

研究と実物を並べてみれば、設計はほとんど自動的に決まってくる。

Three-layer architecture diagram titled THE MODEL WRITES, THE SOLVER SIGNS. Top layer: STRATEGIST (slow clock, weeks) — LLM reasoning with evidence-gated weights and human-signed decisions produces the objective and constraints. Middle layer: SOLVER (fast clock, daily) — a binary integer program allocates under constraints; MPC replan freezes the past and re-solves. Bottom layer: SENSORS — instrumented feedback: tests, metrics, report cards. Arrows: sensors feed both clocks; tripwires escalate from solver to strategist. A footer reads: the seam is the contract — proposals flow down only after a signature.
戦略家はトリップワイヤーが発火したときに問題設定を再解決し、ソルバーは配分を毎日再解決する。センサーは両方に情報を送り込む。

レイヤー1――戦略家(遅い時計:週単位、あるいはトリップワイヤーが発火したとき)。人間が意思決定ノードに立ち会う言語モデルの推論が、問題設定を生み出す――どの施策が存在するか、それぞれの価値は何か(重み、そしてそれを正当化する証拠とともに)、フロア・キャップ・締切・依存関係は何か。これはOptiMUSの教訓を一般化したものだ。モデルの超能力は定式化にある。モデルがLP(線形計画問題)を書くのだ。

レイヤー2――ソルバー(速い時計:毎日、あるいはチェックインのたびに)。二値整数計画が制約集合のもとで時間と資金を配分し、MPCループが実績値から再解決する。ソルバーこそが、自己批判の研究群が求めていた外部の健全な検証器だ[2][3]:制約を説得によって変えさせることはなく、存在しない時間を幻覚することもなく、問題が実行不可能なら、そう明言する――もっともらしい何かを書いて誤魔化すことはしない。

レイヤー3――センサー群。テレメトリが両方のループを閉じる:テストの通過、指標の推移、作業項目の着地(私のスタックでは、すべてのリポジトリがすでに発行している証拠評価付きのレポートカードだ)。安価なセンサーこそが、これを2019年のおもちゃから現役システムへと変えた――かつて人間が一日に二度手打ちしていたフィードバックを、いまではシステム自身が記録している。

二つの時計こそ、たいていの設計が見落としている部分だ。戦術的な再計画(ソルバーの時計)と戦略的な再計画(戦略家の時計)は、コストの異なる別々の操作である。配分の再解決はミリ秒単位で済み、毎時行っても安全だ。一方、目的関数の書き換えはコストが高く、反応的に行うのは危険である――そこにはスラッシング(thrash)が待っている。だからこそエスカレーションは明示的だ。ソルバーは現行の問題設定の中で再解決を続け、tripwire ── 事前に登録された名前付きの前提崩壊シグナル ── が発火し、ペンを再び戦略担当に戻す。これはレシーディングホライズンのパターンを、二つの時間軸に対して二重に適用したものだ [8]。

継ぎ目の契約

上に述べたことすべては、この継ぎ目の部分で成否が決まる。だからこそ、継ぎ目を契約にしておく必要がある。

失敗モード:推測を権威に洗浄する

ここに、誰も警告してくれない危険がある。だからこそ上の契約は厳格でなければならない。ソルバーの出力は権威的に見える──それは証明可能な最適解だからだ。しかしそれが証明可能に最適なのは、あくまで与えられた問題に対してでしかない。モデルが幻覚で生み出した重みを与えれば、ソルバーは自信満々で精密な「最適なゴミ」を返してくる──そしてその精密さこそが、モデルの生の推測よりもそのゴミをずっと説得力あるものに見せてしまう。ソルバーは推測を権威へと洗浄してしまうのだ。

三つの緩和策、いずれも安価だ。

今動いているもの、そしてこれから

このアーキテクチャのv0は、今日、私のポートフォリオのオーナー用ダッシュボードで稼働を始めた。日付付きマイルストーンを持つ3つのゴールトラック、依存関係グラフとして表現されたベンチャー群、そしてページを読み込むたびにライブのレポートカード・テレメトリーから再解決される「次に打つべき1〜3手」——さらに、過去のどの日にこの仕組みが何を語っていたかを再生するタイムトラベル機能まで備えている。その再解決エンジンはまだ貪欲法によるスコアラーであり、完全な二値整数計画ではない。だが置き換えるための道筋は短い。なぜならLife GPS がすでにHTTP経由で決定変数を/plan と目的関数を/replan 公開しているからだ。構築の順序は、1回の作業セッションごとに次の通り。(1)貪欲法スコアラーを、オーナー限定APIの裏にある二値整数計画(BILP)に置き換える。(2)戦略エンジンに、あるエンゲージメントを担当するのと同じ流儀で重みファイルを書かせる——根拠を添え、人間の署名を入れて。(3)トリップワイヤーを登録し、戦略の再解決を予定ベースではなくイベント駆動にする。目標は、3つの継ぎ目すべてを2週間以内(2026年8月18日まで)に稼働させることだ。各ステップが小さいのは、各パーツがすでに動いているからであり、残る仕事は継ぎ目そのもの——それこそがこの論考の主張だ。

パターンとアンチパターン

出自——何が検証済みで、何が私自身のものか

8つの研究引用はすべて、公開時点で参照元と一字一句照合して検証済みである(Natureのアブストラクトはブラウザのユーザーエージェントでの取得が必要だった)。Life GPSは私自身の公開コードであり、そのリポジトリに基づいて記述している。戦略エンジンとそのクライアント・エンゲージメントは私の非公開システムであり、ライセンスの制約により内部構造は明かさず、能力レベルでのみ記述している。ダッシュボード、その貪欲法による再解決エンジン、そして2%という数値は、実際に稼働中で、オーナー限定であり、私自身のものだ。

参考文献

  1. Kambhampati, S., Valmeekam, K., Guan, L., Verma, M., Stechly, K., Bhambri, S., Saldyt, L., & Murthy, A. (2024). Position: LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks. ICML 2024. arxiv.org/abs/2402.01817
  2. Stechly, K., Valmeekam, K., & Kambhampati, S. (2024). On the Self-Verification Limitations of Large Language Models on Reasoning and Planning Tasks. arxiv.org/abs/2402.08115
  3. Valmeekam, K., Marquez, M., & Kambhampati, S. (2023). Can Large Language Models Really Improve by Self-critiquing Their Own Plans? arxiv.org/abs/2310.08118
  4. AhmadiTeshnizi, A., Gao, W., & Udell, M. (2024). OptiMUS: Scalable Optimization Modeling with (MI)LP Solvers and Large Language Models. ICML 2024. arxiv.org/abs/2402.10172
  5. Xiao, Z., Zhang, D., et al. (2024). Chain-of-Experts: When LLMs Meet Complex Operations Research Problems. ICLR 2024. iclr.cc/virtual/2024/poster/18977
  6. Zhang, B., Luo, P., Yang, G., Soong, B. H., & Yuen, C. (2025). OR-LLM-Agent: Automating Modeling and Solving of Operations Research Optimization Problems with Reasoning LLM. arxiv.org/abs/2503.10009
  7. Trinh, T., Wu, Y., Le, Q., He, H., & Luong, T. (2024). Solving olympiad geometry without human demonstrations. Nature 625. nature.com/articles/s41586-023-06747-5
  8. Hall, S., Guerrini, L., Dörfler, F., & Liao-McPherson, D. (2024). Receding Horizon Games for Modeling Competitive Supply Chains. arxiv.org/abs/2401.09853

関連記事

本稿はcompany-GPSシリーズの第2部である。リサーチパケット(8件の出典、引用は公開時点でfetchにより逐語検証済み)は2026-08-04にまとめられた。—Paul Jialiang Wu・ agentic-portfolio-lovat.vercel.app