自律性のアーキテクチャ。

10歳の子供に「昼食を作って、キッチンを片付けて、家を燃やさないで」という指示だけを与えて放っておくとどうなるか。料理動画を三本見ただけの子供は「多段階の料理戦略」を発表し、パンケーキの生地を天井に塗りつけるだろう。これは、自律型AIが抱える中心的な問題をそのまま体現している。強力なモデルはレシピを完璧に説明し、自信たっぷりに聞こえる——それでいてスパチュラを逆さに持ったままなのだ。

モデルとは頭脳である。自律型システムには頭脳が必要だ——だが同時に、明確な目標、目と耳、ツール、記憶、境界線、フィードバック、テスト、そして消火器の場所を知っている大人も必要になる。教訓を一言で言えば、こうなる。

自律性はモデルの特徴ではない。システムアーキテクチャなのだ。

この議論のすべてはこう要約できる。プロンプトを書くことは命令することであり、アーキテクチャを設計することは知性を構築することだ。未来を決めるのはより良いプロンプトではなく、より良いループである。

メンタルモデル：閉ループのキッチン

チャットボットはレストラン評論家だ。オムレツの作り方を尋ねれば、見事な回答を書いて、それから家に帰ってしまう。一方エージェントはコックである。食材を確認し、フライパンを選び、火力が強すぎることに気づいて弱め、味見をし、オムレツが本当に完成するまで作業を続ける。これがループだ。

目標 → 観察 → 思考 → 行動 → 検証 → 学習 → 繰り返す

1・目標：雰囲気ではなく目的地を定める

「このプロジェクトを手伝って」は目標ではない。ビジネスカジュアルを着た霧の塊にすぎない。役に立つ目標は、検証可能な状態を記述する。例えば次のようなものだ。検証: "Upgrade this service from Java 11 to 17, preserve all public API behavior, pass the test suite, and open a PR explaining every breaking change."（訳：このサービスをJava 11から17にアップグレードし、すべての公開APIの挙動を維持し、テストスイートを通過させ、すべての破壊的変更を説明するプルリクエストを開くこと） これには望ましい成果、制約条件、証拠、そして納品条件が含まれている。

エージェントは、もっともらしい動きを生み出すことに長けている。12個のファイルを調べ、変数を2つリネームし、4ページのメモを作成し、靴下がランプに掛かったままなのに生産性という空気だけを演出する。だから本番運用のエージェントにはゴール状態契約とは、成功基準、禁止される結果、時間とコストの予算、必要な証拠、エスカレーションのルール、そして「行き詰まった」の定義を定めるものだ。契約が鋭いほど、架空のゲームで勝ったふりをする余地は減る。

2 ・ 知覚：エージェントは現実を見なければならない

料理人はレシピを見つめているだけでは昼食を作れない。冷蔵庫を開けなければならないのだ。エージェントには、ファイル、データベース、API、ログ、ページ、テスト結果、そして直前の行動の結果へのライブアクセスが必要だ。これがグラウンディングというものだ。これがなければエージェントは現実そのものではなく、現実についての物語を操作していることになる。そうやって幻覚は行動へと変わる。存在しないファイル名をでっち上げるチャットボットは迷惑だが、それをでっち上げて実在のディレクトリを削除するエージェントとなると、法務部との面談が待っている。

仮説は安くつく。証拠は高くつく。両者を請求書のように同一視してはならない。

だからツールの結果、ログ、検索ソースはシステム状態の第一級市民として扱う必要がある。モデルが信じていること、ツールが返したもの、検証済みのもの、そしてまだ不確かなもの——この四つはそれぞれ別物である。

3 ・ 計画：段階的に考えよ、最初の一手に惚れ込むな

冷蔵庫には卵はあるが牛乳がない。「牛乳を買う、混ぜる、焼く、出す」という硬直したワークフローはここで崩れ、計画会議を要求してくる。プランナーはこう考える。"The goal is lunch, not obedience to Step 1. Scrambled eggs need no milk."（訳：目標は昼食であって、ステップ1への服従ではない。スクランブルエッグに牛乳はいらない。）これがスクリプト（既知の経路をたどるだけ）とプランナー（既知のゴールへ至る経路を探る）。着地した瞬間に崩れる壮大な計画への処方箋は短期スパンの計画立案だ。次の一区切りだけを計画し、行動し、観察し、また計画し直す。見知らぬ街を、すべての曲がり角を暗記せずに運転していくように進めばいい。

強靭な自律性とは、未来をすべて予測することではない。未来が協力を拒んだときに、そこから立て直せることだ。

4・ツール：知性には手が要る

モデルは、ボルトを締める様子を描写することならできるが、実際に締めるのはレンチだ。ツールは言語を状態変化に変換する——検索、コード、データベースへの書き込み、チケット発行、デプロイ。これによってエージェントは経済的な意味を持つと同時に、危険な存在にもなる。大まかな法則はこうだ。

リスク＝不確実性 × ツールの力 × 行動の範囲

電卓を持って混乱しているモデルは、厄介な程度で済む。だが本番環境の認証情報を持ち、チェーンソーを咥えたゴールデンレトリバーのような自信まで抱いた混乱中のモデルとなると、話は事故報告書レベルになる。だからツール設計には最小権限アクセス、明示的なスキーマ、検証、サンドボックス化、レート制限、可逆かつ冪等な操作、そして影響の大きいステップへの承認ゲートが要る。自律性は二値ではなく段階的であるべきだ。自由に閲覧してよいが、メール送信の前には承認を得る。ブランチの編集はよいが、本番へのマージはしない、というように。

5・記憶：正しいものを覚えておく

記憶がなければ、実行するたびシットコムの冒頭のように振り出しへ戻る。「自分は誰だ？なぜ台所が煙まみれなんだ？このパンケーキとは初対面か？」エージェントにはワーキング記憶（いまのゴールと計画）、エピソード記憶（過去の試みが何をし、どう失敗したか）、そして意味論的記憶（安定したルール、慣習、ポリシー）が必要になる。しかしすべてを覚えておこうとするのは、1998年以来ケーブル一本捨てたことのない物置のようなものだ。ノイズ、古びた前提、プライバシー漏洩、コストがただ積み上がっていく。良い記憶とは選別されたものであり、何を、どれくらいの期間残すか、誰が読めるか、いつ失効させるかを見極めて成り立つ。Reflexion は、重みを一切変えずに、エピソード記憶に蓄えた言語的な自己フィードバックだけでエージェントが改善することを示した。ここでの教訓は「AIに日記をつけさせよう」ということではない。

失敗が価値を持つのは、それが次の試みを変えるときだけだ。

6・評価：エージェントには審判が必要だ

若きシェフは真っ黒に焦げた塊を眺め、こう宣言する。「成功——このオムレツは最大限の構造的自信を達成した」。だからこそ、エージェントに自分の宿題を自己採点させてはいけない。成功したか、契約を満たしているか、制約に違反していないか、証拠は十分か、再試行・修正・エスカレーション・停止のどれを選ぶべきか。それを問う外部評価者が必要だ。評価者は実用上可能な限り生成者から独立しているべきであり、エージェントがコードを書けば、テストスイートがそれを判定し、主張を書けば、引用がそれを判定する。（OpenAIのSWE-bench Verifiedの取り組みは、タスクの明確さと採点の質が計測性能をどれほど左右するかを示した。採点者が信用できなければ、スコアには何の意味もない。）

評価者は生成者よりも重要であることが多い。生成が可能性を生み出すのに対し、評価は方向性を生み出す。

7・制御：馬力を上げる前にブレーキを取り付けろ

通常のソフトウェアは「書かれた通りにコードが動くか」を問う。だがエージェント型ソフトウェアは「システムは次に何をしようと決めるかもしれないか」も問わねばならない。そのためには、エージェントを取り巻く制御プレーンが必要になる。権限、ポリシーの適用、予算、監査ログ、停止条件、人間によるオーバーライド、異常検知、ロールバック、エスカレーション——これらすべてだ。自動運転車を思い浮かべてほしい。モデルがルートを選んでもよいが、それでも車線境界、速度制限、ブレーキ、ブラックボックス記録装置、そしてハンドルを握れる人間が必要だ。「自律的」とは人間の権限を取り除くことではなく、人間を常時操作から設計された監督へと移すことを意味する。本当に問うべきは、なんとなくの感覚ではなく、設計された問いだ。

どのリスク水準で権限を人間に戻すべきか？

トーストを焼くのに委員会を雇うな

エージェントというものを知ると、危険な発想が頭をもたげる——「17体作ったらどうなるだろう？」。すぐにプランナー、リサーチャー、批評家、批評家の批評家、そしてエージェントの士気向上係まで揃うが、トーストはまだ生のままだ。作業が本当に異なる役割や並列探索に分かれる場合には、複数エージェントは有効に機能する（一体はセキュリティを、一体は性能を、一体は要件をチェックし、オーケストレーターがまとめる）。しかし一体増えるごとに、通信オーバーヘッド、重複作業、前提の不整合、レイテンシ、コスト、そして障害面が増えていく。Anthropicの指針は、複雑さを価値に見合わせ、単純なワークフローで足りるならそちらを優先せよというものだ。

有能なエージェント一体と、良いツールから始めよ。二体目を追加するのは、それが取り除くボトルネックを名指しできるときだけにせよ。

知能の本当の単位はループである

業界はまるで、最も賢いモデルが自動的に最良のエージェントになるかのようにモデル同士を比較する。だが実運用での性能とは、モデル、指示、コンテキスト、ツール、メモリ、制御フロー、評価者、環境、監督——それら全体からなる複合システムそのものだ。規律あるループの中の弱いモデルは、混沌としたループの中の強いモデルに日常的に勝つ。なぜなら、役に立つ知能とは一つの答えの質ではなく、試み、観察し、ギャップを診断し、行動を変え、収束させていくシステムの能力だからだ。

知能とは予測にすぎない。それに対して、自律性とは制御された学習ループなのだ。

自律性のはしご

自律性はオン・オフのスイッチではなく、はしごのようなものだ。そして最も価値あるシステムが求めるのは無制限の自律性ではなく、適切な自律性である。

サーモスタットは、極小の意思決定空間の中では高度に自律的だ。CFOはずっと広い空間で動くが、法律・監査・取締役会という制約の下にある。自律性が高いからといって、知性が高いとは限らない――時にそれは、単に自分の首を絞める縄が長くなっただけのことがある。

本番運用のブループリント

相互に連結した七つの層があり、ループはこれらを順に通り抜けていく。

Contract → Observe → Plan → Act → Verify → Learn → Continue or Escalate. 言語モデルはこの中の一つの構成要素にすぎない。壊れたアーキテクチャに大きなモデルを載せても、ショッピングカートにF1エンジンを積むのと同じで、速くはなるがハンドリングは何も良くならない。

覚えておくべき五つの原則

ジーニーではなく、統制された見習いをつくる

自律性という幻想はランプの精だ——一度願えば、王国が完成する。だが役に立つ現実は徒弟のほうである。目標を理解し、道具を使い、実際に仕事をこなし、間違いに気づき、学び、時間とともに必要な監督が減っていく。それでも工房には、明確な指示、良い道具、安全規則、品質チェック、記録、そして責任を持ち続ける親方が必要だ。これは制約ではない。能力が信頼に足るものへと変わっていく仕組みなのだ。

この時代の優位性は、最も賢いモデルを借りている者には行かない——誰もが同じ頭脳を借りているのだから。優位性が向かうのは、その頭脳の周りに最良のループを組み立てた者だ。現実を見て、境界の中で行動し、結果を測定し、失敗から学び、判断が最も重要な場面では人間に制御を返す——そういうループである。話ができる頭脳は印象的だ。だが、仕事をやり遂げ、しかも台所を燃やさなかったことを証明できるシステムこそが、本当に役に立つ。