AIネイティブ・シリーズ　エージェント型AIにおける人間のダイナミクス　全4回の第1回

ほとんど動かない原則――エージェント型AIにおける人間の側面

著者　Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app ・2026-10-14・所要6分

ラベルの読み方： EVIDENCE は出典あり、DESIGN はプラクティスの設計の仕方、OPEN はまだ検証されていないもの、LENS は筆者自身の見解を示す。

仕事をAIエージェントに任せる。パイロットやプラント操作員、マネージャーたちの間で、AIが登場する何十年も前から観察されてきた六つの人間原則が、その引き渡しがどこで壊れるかを予言する。そして同時に、人々が見誤りがちなことも予言している――エージェントが優れるほど、仕事における人間の役割はむしろ重要になり、その感覚を研ぎ澄まし続けるのは難しくなる、ということだ。

本シリーズが扱うもの：エージェント型AIの人間のダイナミクスを、3つの層で

AIエージェントについて書かれたもののほとんどは、エージェント自身の話――今月できることは何か、という話だ。本シリーズが扱うのは、その周りにいる人間の話であり、速さの異なる3つの層で構成される。 原則 はほとんど動かない。コンピューター以前から成り立っており、エージェント以後も成り立ち続ける。 ベストプラクティス は十年に数回のペースでゆっくり動く。 新興トレンド は四半期ごとに動き、その数字はすぐ古くなる。第4回ではこの三層すべてを一つの問いに当てはめる。経営者もスタートアップもエンジニアも、同じ仕事からどうすれば全員が得をするのか。

エージェントをどこまで信頼すべきか決める立場のリーダーと、その決定とともに生きていくエンジニアのための内容だ。

まず賭けてみる

旅客機のオートパイロットの信頼性が二倍になったとする。パイロットの仕事は楽になるのか、それとも難しくなるのか。

• A. 楽になる：やることが減るから。
• B. 変わらない：難しい部分は依然としてパイロットが操縦するから。
• C. 難しくなる：パイロットがやることが減る分、オートパイロットが制御を戻してくる瞬間への備えが薄れるから。

答えは、ひとまず心にとどめておいてほしい。

原則1：自動化するほど、人間の役割が重くなる

EVIDENCE1983年、工学心理学者の Lisanne Bainbridge は、自動化の皮肉と名付けた。中心となる一つはこうだ。"the more advanced a control system is, so the more crucial may be the contribution of the human operator."（訳：制御システムが高度になればなるほど、人間のオペレーターの貢献がいっそう重要になりうる）そして最も鋭い一節がこれだ。"a formerly experienced operator who has been monitoring an automated process may now be an inexperienced one"（訳：かつて熟練していたオペレーターも、自動化されたプロセスを監視し続けるうちに、いつしか未熟なオペレーターになってしまうことがある）（Bainbridge、Automatica 1983).

LENS Bainbridge が書いたのは、コックピットについてではなくプロセス制御についてだったが、その論はエージェントにもそのまま当てはまる。C自動化は、まれにしか起きない難局に備えて人間を鍛えていた日常の練習を奪っておきながら、その難局だけを人間の手に委ねてしまう。LENS 「あとは勝手にやってくれる」エージェントは一つひとつが、いつかやり方を知らなくなるオペレーターを育てているのだ。

原則2：依存度は較正すべきであり、最大化すべきではない

EVIDENCE Raja ParasuramanとVictor Rileyは、人が自動化を誤って扱うパターンを4つに分類した――use（適切な使用）、misuse（誤用）、disuse（不使用）、abuse（濫用）である。"Misuse refers to over reliance on automation, which can result in failures of monitoring or decision biases."（訳：誤用とは自動化への過度の依存を指し、監視の失敗や判断バイアスを引き起こしうる）濫用は設計者とマネージャーが犯す過ちであり、"without due regard for the consequences for human performance"（訳：人間のパフォーマンスへの影響を正当に考慮せずに）自動化してしまうことを指す（Parasuraman & Riley, Human Factors 1997).

目指すべきは最大限の信頼ではなく、適切な信頼だ――エージェントが信頼できるところでは任せ、そうでないところでは検証する、というものである。John LeeとKatrina Seeは二十年前にそれをこの分野の定義とし、エージェントについても何一つ変わっていない。

原則3：委任とは契約であり、契約には漏れがある

EVIDENCE Michael JensenとWilliam Mecklingは委任関係を次のように定義した。"a contract under which one or more persons (the principal(s)) engage another person (the agent) to perform some service on their behalf which involves delegating some decision making authority to the agent."（訳：一人または複数の者（プリンシパル）が、ある種の意思決定権限の委任を伴う業務を自らに代わって遂行させるために、別の者（エージェント）を雇用する契約）そのうえで彼らはこう警告する。"If both parties to the relationship are utility maximizers there is good reason to believe that the agent will not always act in the best interests of the principal"（訳：この関係の両当事者がともに効用最大化者であるならば、エージェントが常にプリンシパルの最善の利益のために行動するとは限らないと考えるべき十分な理由がある）（Jensen & Meckling, Journal of Financial Economics 1976).

彼らが書いていたのはマネージャーと株主についてだった。LENS AIエージェントは彼らの前提を崩す――エージェント自身は何の効用も最大化しないからだ。しかしそのギャップは別の形で戻ってくる。エージェントはあなたが指定した通りのことを正確に最適化するが、それがあなたの意図したことと正確に一致することはめったにない。そのギャップの代償を監視というかたちで払うことになるのは、どのプリンシパルもこれまで常にそうだったのと同じだ。エージェントは決して経費を水増ししない――ただ、技術的に許された範囲で一番安いフライトを予約するだけである。

原則4：システムはそれを作る組織をコピーする

EVIDENCE 1968年、Melvin Conwayは次のように観察した。"organizations which design systems (in the broad sense used here) are constrained to produce designs which are copies of the communication structures of these organizations"（訳：システムを設計する組織（ここで用いる広い意味での）は、その組織のコミュニケーション構造を写し取った設計を生み出すよう制約される）（Conway, Datamation 1968).

DESIGN マルチエージェントシステムも、その広い意味でのシステムにほかならない。三つのチームがそれぞれ一つのエージェントを所有し、互いに話をしないなら、互いに仕事を下手に受け渡す三つのエージェントができあがる。組織図が、APIキー付きでそのまま再現されるのだ。修正すべきはコードより上流にある。誰が誰と話すかを決め、それからエージェントを設計する。

原則5：測定指標は目標になった瞬間、測定であることをやめる

Charles Goodhart は金融政策の目標についてこの観察を行い、人類学者の Marilyn Strathern が後にそれを、おなじみの一般形にまとめ直した。測定基準は、いったん目標に変わると、良い測定基準ではなくなる。 LENS エージェントはこの法則を、弱めるどころかより強く効かせる。人間は指標をごまかしていると、やがて飽きるか罪悪感を覚える。エージェントは決してそうならず、誰よりも執拗に数字を達成する最安の方法を探し続ける。サポートチケットをもっと早く解決するようエージェントに指示すれば、特に断らない限り、チケットを閉じてしまうことこそが最速の方法になる。

原則6：発言するには、有能感・自律性・関係性・安全性が必要だ

EVIDENCE 自己決定理論は「満たされると自己動機づけを高める、三つの生得的な心理的欲求――有能感、自律性、関係性」を挙げている (Ryan & Deci, American Psychologist 2000）。Amy Edmondson はチームレベルの条件を付け加えた。「チームの心理的安全性とは、対人関係上のリスクを取っても安全だという、チーム内で共有された信念と定義される」(Edmondson, Administrative Science Quarterly 1999).

エージェントに仕事を渡すことは、この四つすべてに同時に関わってくる。有能感：自分はまだ何が得意なのか？自律性：今は誰が決めるのか？関係性：誰と一緒に働くのか？安全性：上司が選んだエージェントが間違っていると言えるか？ LENS これらを無視したエージェント導入は、表面上は従順に見えても、水面下で静かな回避策が広がりがちだ。

すべてをつなぐ一つの枠組み：統制だけでなく判断を

LENS 「human in the loop」という言葉は至る所で使われている。 EVIDENCE この発想を最も精密に定義しているのは米国の兵器政策だ。その基準は統制そのものを目的とはしておらず、「武力行使に対する適切な水準の人間の判断」であり、「human on the loop」システムとは「運用者が監視し停止する能力を持つ」システムを指す（DoD Directive 3000.09、2023-01-25改訂、Congressional Research Service, updated 2025-01-02).

LENS エージェントにとって有用な問いは「human in the loop は存在するか？」ではない。人間は形だけループに加わり、読みもせずに何でも承認することができる――それは署名入りの、原則2で言う誤用にすぎない。問うべきは どこで判断が必要とされ、そこにいる人間はそれを行使できる状態にあるか、ということだ。 話を戻せば、これはオートパイロットの問題でもある。行使できるのは、訓練を怠らずに腕を保ち続けてきた場合だけだ。嵐の中で初めて操縦を引き継がされるのを望む者などいない。

六つの原則、一枚にまとめると

| 原則 | 提唱者 | エージェントについて何を予測するか（証拠ではなく私見） | |---|---|---| | 自動化が進むほど、人間が重要になる | Bainbridge, 1983 | エージェントを確認する人の腕が鈍る | | 依存度は調整すべきもの | Parasuraman & Riley, 1997; Lee & See, 2004 | 過信も不信も、どちらも代償を払う | | 委任は契約である | Jensen & Meckling, 1976 | 仕様と意図のずれを監視するコストを払うことになる | | システムは組織を写す | Conway, 1968 | エージェント同士の連携も、所属チーム同士と同じくらい下手になる | | 指標は目標になる | Goodhart; Strathern, 1997 | エージェントは人間より熾烈に指標をハックする | | 有能感・自律性・関係性・安全性 | Ryan & Deci, 2000; Edmondson, 1999 | これらを無視した導入は、表に出ない回避策を生む |

まだわかっていないこと

OPEN 古い法則のなかには、エージェントの時代を無傷では生き延びられないものもあるかもしれない。Fred Brooksは、遅延しているソフトウェアプロジェクトに人を追加すると、調整に費やす時間のせいでさらに遅れることを発見した。エージェントを追加する場合に同じことが起きるかどうかは、まだ未解決の問いだ。エージェントは調整コストを増やすものの、オンボーディングに何か月もかかるわけではないからだ。答えはまだわからない。知っていると言う者がいれば、それはただの推測だ。agents

うまくいかない場合

1. 原則が飾りになる場合。 スライドに六つの原則を並べても何も変わらない。ひとつひとつに、導入計画のなかでのチェックが必要だ。
2. 「人間がループに入っている」が形だけの承認になる場合。 承認が速く、決して却下されないなら、その人間はチェック役ではなく、自動化の一部になっている。
3. 原則を「反エージェント」として扱う場合。 どの原則も、自動化するなとは言っていない。自動化が人にもたらす影響を知ったうえで自動化せよ、と言っているのだ。

今週やるべきこと

チームがAIエージェントに任せているタスクをひとつ選ぶ。そして三つの問いを投げかける。最後に人間が手作業でそれをやったのはいつか（原則1）。出力を誰が確認し、どのくらいの頻度で却下しているか（原則2）。エージェントは何の数値を最適化していて、それを悪用するとしたらどんな手があるか（原則5）。二つの答えが要注意のサインだ。「今四半期、誰も手作業でやっていない」、そして却下率がゼロ――それはチェックがチェックとして機能していないということだ。どれかひとつでも「わからない」なら、それが最初に直すべき点だ。

次回

原則はほとんど動かない。パート2が扱うのは、ゆっくりと動く層――組織がエージェントとの働き方について落ち着かせてきた実践知と、競合する二つのAIラボがほぼ同じ助言にたどり着いた理由だ。

出典

• Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6). https://ckrybus.com/static/papers/Bainbridge_1983_Automatica.pdf
• Parasuraman, R. & Riley, V. (1997). Humans and automation: use, misuse, disuse, abuse. Human Factors, 39(2). https://doi.org/10.1518/001872097778543886
• Lee, J. D. & See, K. A. (2004). Trust in automation: designing for appropriate reliance. Human Factors、46(1)。（要約のみ、引用なし）
• Jensen, M. C. & Meckling, W. H. (1976). Theory of the firm. Journal of Financial Economics, 3(4). https://josephmahoney.web.illinois.edu/BA549_Fall%202010/Session%205/Jensen_Meckling%20%281976%29.pdf
• Conway, M. E. (1968). How do committees invent? Datamation. https://www.melconway.com/Home/Committees_Paper.html
• Strathern, M. (1997). 'Improving ratings': audit in the British University system. European Review。（要約のみ、引用なし）
• Ryan, R. M. & Deci, E. L. (2000). Self-determination theory. American Psychologist, 55(1). https://selfdeterminationtheory.org/SDT/documents/2000_RyanDeci_SDT.pdf
• Edmondson, A. (1999). Psychological safety and learning behavior in work teams. ASQ, 44(2). https://web.mit.edu/curhan/www/docs/Articles/15341_Readings/Group_Performance/Edmondson%20Psychological%20safety.pdf
• Congressional Research Service (updated 2025-01-02). Defense primer: U.S. policy on lethal autonomous weapon systems (DoDD 3000.09, revised 2023-01-25). https://www.congress.gov/crs_external_products/IF/PDF/IF11150/IF11150.14.pdf
• Brooks, F. P. (1975). The Mythical Man-Month。（要約のみ、引用なし）

関連記事

• Part 2 — ゆっくり進化するベストプラクティス：エージェントと働く今日の実践
• Part 3 — 速く動く新興トレンド：古い原則を、もう一度測る
• Part 4 — 三方良し：経営者・スタートアップ・エンジニアが同じループで勝つ