AI原生系列 · 智能体化AI中的人性动态，第1篇（共4篇）
纹丝不动的原则：智能体化AI的人性一面
一分钟读懂
这是什么。 本文是关于智能体化AI人性一面的四篇系列文章的第1篇。它指出六条纹丝不动的原则——从自动化的讽刺到委托即合约——以及每一条在工作被交给AI智能体时各自预示着什么。
为什么重要。 大多数智能体的落地方案，规划时想的都是智能体能做什么。而这些原则预示的，是智能体周围的人会在哪里失手：负责核查智能体的人会逐渐生疏，审批变成了盖橡皮图章，智能体则会钻你设定的任何指标的空子。
读完之后你能做什么。 挑一件你们团队已经交给智能体去做的任务，拿文章里的三个问题问一问。两个答案尤其危险：这个季度没人手动做过，以及智能体的输出从没被人拒绝过。
标签说明： EVIDENCE 代表有据可查，DESIGN 代表这是实践的设计方式，OPEN 代表尚未验证，而LENS 代表我自己的判断。
你把工作交给AI智能体去做。六条人类原则——在飞行员、工厂操作员和管理者身上，早在AI出现几十年前就已被观察到——预示了这种交接会在哪里出问题。它们还预示了一件人们容易搞错的事：智能体越强，工作中属于人的那部分就越重要，也越难保持敏锐。
本系列讲什么：智能体AI的人类动态，分三层
大多数关于AI智能体的文章都在谈智能体本身：这个月它们能做什么。这个系列谈的是智能体周围的人，分成三层，各自以不同的速度变化。 原则 几乎不变：计算机出现之前它们成立，智能体出现之后它们依然成立。 最佳实践 以数十年一次的节奏缓慢演变。 新兴趋势 则每季度都在变，数字很快就过时。第四篇把这三层全部用在同一个问题上：高管、创业者和工程师如何从同一份工作中共赢。
本系列写给那些要决定该多信任智能体的领导者，也写给那些要与这个决定共存的工程师。
先下个注
如果一架客机的自动驾驶系统可靠性翻倍，飞行员的工作会变得更轻松，还是更难？
- A. 更轻松：要做的事少了。
- B. 没变化：飞行员照样得飞最难的那部分。
- C. 更难：飞行员做得少了，所以到自动驾驶系统把控制权交还的那一刻，反而更没准备。
先别回答，记住自己的选择。
原则一：自动化程度越高，人的作用越关键
EVIDENCE 1983 年，工程心理学家 Lisanne Bainbridge 提出了“自动化的讽刺”（ironies of automation）这一概念。她最核心的一条是："the more advanced a control system is, so the more crucial may be the contribution of the human operator."（中译：控制系统越先进，人类操作员所起的作用可能就越关键。）而她最犀利的一句是："a formerly experienced operator who has been monitoring an automated process may now be an inexperienced one"（中译：一个曾经经验丰富、如今却只是在监控自动化流程的操作员，可能已经变成了一个毫无经验的人）（Bainbridge, Automatica 1983).
LENS Bainbridge 写的是过程控制，不是驾驶舱，但她的论断照样能预言今天的情形C。自动化消除了那些让人类在罕见的高难度情况下保持状态的日常练习，然后——偏偏就把那个高难度情况甩给了人类。 LENS 每一个「自己全搞定」的智能体，都在悄悄培养一个终将不知道怎么办的操作者。
原则二：信任要校准，不是越多越好
EVIDENCE Raja Parasuraman 和 Victor Riley 把人们用错自动化的方式分成四类：使用不当、误用、弃用和滥用。"Misuse refers to over reliance on automation, which can result in failures of monitoring or decision biases."（中译：误用指的是对自动化的过度依赖，可能导致监控失效或决策偏差。）滥用则是设计者和管理者的责任：automating "without due regard for the consequences for human performance"（中译：未充分考虑对人类表现的后果，就推进自动化）（Parasuraman & Riley, Human Factors 1997).
目标从来都不是信任最大化，而是恰当的信任：在智能体可靠的地方依赖它，在它不可靠的地方核查它。John Lee 和 Katrina See 在二十年前就把这定成了这个领域的定义，而智能体的出现丝毫没有改变这一点。恰当的信任：在智能体可靠的地方依赖它，在它不可靠的地方核查它。John Lee 和 Katrina See 在二十年前就把这定成了这个领域的定义，而智能体的出现丝毫没有改变这一点。
原则三：委托是一份合约，合约总会漏风
EVIDENCE Michael Jensen 和 William Meckling 把代理关系定义为"a contract under which one or more persons (the principal(s)) engage another person (the agent) to perform some service on their behalf which involves delegating some decision making authority to the agent."（中译：一份合约，一个或多个人（委托人）聘用另一个人（代理人）代表自己执行某项服务，其中涉及将部分决策权委托给该代理人。）他们的警告还带着一个前提条件："If both parties to the relationship are utility maximizers there is good reason to believe that the agent will not always act in the best interests of the principal"（中译：如果这段关系中的双方都是效用最大化者，那么我们有充分理由相信，代理人并不会总是以委托人的最大利益行事。）（Jensen & Meckling, Journal of Financial Economics 1976).
这段话写的本是管理者和股东的关系。 LENS AI 智能体打破了这个前提：它自己没有任何效用要最大化。但那道缺口会以另一种方式回来找你。智能体精确优化你所写下的规范，而那份规范很少恰好等于你的本意，于是你要为这道落差付出监控的代价——这和任何一位委托人一直以来的处境并无不同。智能体从不虚报开支，它只会把你安排在技术上你允许的那趟最便宜的航班上。
原则四：系统会复制构建它的组织架构
EVIDENCE 1968 年，Melvin Conway 观察到："organizations which design systems (in the broad sense used here) are constrained to produce designs which are copies of the communication structures of these organizations"（中译：设计系统（此处取广义）的组织，注定会产出复制了这些组织内部沟通结构的设计。）（Conway, Datamation 1968).
DESIGN 多智能体系统正是这种广义上的系统。如果三个团队各自负责一个智能体却互不沟通，你得到的就会是三个彼此交接得一塌糊涂的智能体——组织架构图，只是现在多了几把 API 密钥。修复的功夫要下在代码之前：先定好谁该跟谁对话，再去设计这些智能体。
原则五：指标一旦成为目标，就不再是有效的衡量
Charles Goodhart 最早是针对货币政策目标提出这个观察的；人类学家 Marilyn Strathern 后来把它归纳成我们熟悉的通用版本：一旦某个指标变成了目标，它就不再是个好指标了。 LENS 到了智能体身上，这条定律非但没变软，反而咬得更狠。人钻指标的空子，钻久了会觉得无聊，也会有点心虚。智能体不会，它只会比任何人都更拼命地找出命中数字的最廉价路径。你让智能体把工单关得更快，只要你没特别说明，「关掉」就是最快的办法。
原则六：能力感、自主感、归属感与安全感，缺一不可
EVIDENCE 自我决定理论指出，人有「三种与生俱来的心理需求——能力感、自主感与归属感——这三者得到满足时，会激发更强的自我动机」（Ryan & Deci, American Psychologist 2000）。Amy Edmondson 又补上了团队层面的条件：「团队心理安全感，是指团队成员共同相信，在这个团队里进行人际冒险是安全的」（Edmondson, Administrative Science Quarterly 1999).
把工作交给智能体，这四项会同时被触碰到。能力感：我还擅长什么？自主感：现在谁说了算？归属感：我和谁共事？安全感：如果智能体是我老板选的，我还能不能说它错了？ LENS 一次忽视这几点的智能体上线，大概率只能换来表面上的配合，底下全是悄悄摸鱼的变通办法。
把它们串起来的一条主线：靠的是判断力，不只是控制权
LENS 「人类在环」这个说法被用得到处都是。 EVIDENCE 美国的武器政策把这个概念定义得最精确。它的标准从来不是为了控制而控制，而是「对使用武力保持适当程度的人类判断」，其中「人类在环上」（human on the loop）的系统是指那些「操作者有能力监控并叫停」的系统（DoD Directive 3000.09，2023-01-25 修订版，引自 Congressional Research Service, updated 2025-01-02).
LENS 对智能体而言，真正有用的问题不是「有没有人类在环」。一个人可以坐在环里，连看都不看就把所有东西都批了——这正是原则二里说的「误用」，只不过多了个签名。真正的问题是：哪里需要判断力，而站在那个位置的人，是否还有能力做出判断？ 这又把我们带回了自动驾驶系统的问题：只有保持了练习，才谈得上「有能力」。没有人希望操控权第一次被交还回来，是在暴风雨里。
六大原则，一页看完
| 原则 | 提出者 | 对智能体意味着什么（我的解读，非实证） | |---|---|---| | 自动化程度越高，人的作用越关键 | Bainbridge, 1983 | 负责核查智能体的人逐渐生疏 | | 信任要校准 | Parasuraman & Riley, 1997; Lee & See, 2004 | 信任过头和信任不足都要付出代价 | | 委托是一份合约 | Jensen & Meckling, 1976 | 你要为「规范」与真实意图之间的落差付出监督成本 | | 系统会复刻组织结构 | Conway, 1968 | 智能体之间交接工作的糟糕程度，和团队之间一模一样 | | 指标一旦成为目标，就不再是好的指标 | Goodhart; Strathern, 1997 | 智能体钻营指标漏洞，比人更狠 | | 胜任感、自主性、归属感、安全感 | Ryan & Deci, 2000; Edmondson, 1999 | 忽视这些的推行方案，只会换来表面配合、私下绕路 |
我们还不知道的事
OPEN 有些旧法则未必能在智能体时代原样成立。Fred Brooks 发现，给进度滞后的软件项目增加人手，只会让项目更滞后，原因在于沟通协调耗费的时间。增加智能体是否也会出现同样的效应，目前还是悬而未决：智能体确实会增加协调成本，但不会带来数月的上手期。答案还没有，谁说自己知道，谁就是在猜。
这事可能怎么翻车
- 原则沦为装饰。 把六条原则写进一张幻灯片，什么也改变不了。每一条都得落实成推行计划里的一项检查。
- 「人类在环」沦为橡皮图章。 如果审批总是很快、从不被拒绝，那么人就成了自动化流程的一部分，而不是对它的制衡。
- 把这些原则当成反智能体的理由。 它们没有一条是在说「别自动化」。它们说的是：自动化可以，但要清楚这对人意味着什么。
这周就可以做的事
挑一项你的团队已经交给 AI 智能体处理的任务，问三个问题：上一次有人亲手做这件事是什么时候（原则一）？谁在核查产出，多久驳回一次（原则二）？智能体在优化哪个数字，钻这个空子最简单的办法是什么（原则五）？如果两个答案都不妙——「这个季度没人手动做过」，以及驳回率为零，那就说明这道核查形同虚设。只要有一个答案是「不知道」，那就是你该先修的地方。
下一篇
原则几乎不变。第二篇讲的是那个会变、但变得很慢的层面：各家组织在与智能体共事中摸索出的实践方法，以及为什么两家互相竞争的 AI 实验室给出的建议几乎如出一辙。
参考资料
- Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6). https://ckrybus.com/static/papers/Bainbridge_1983_Automatica.pdf
- Parasuraman, R. & Riley, V. (1997). Humans and automation: use, misuse, disuse, abuse. Human Factors, 39(2). https://doi.org/10.1518/001872097778543886
- Lee, J. D. & See, K. A.（2004）。Trust in automation: designing for appropriate reliance. Human Factors，46(1)。（转述，非引用原文。）
- Jensen, M. C. & Meckling, W. H.（1976）。Theory of the firm. Journal of Financial Economics, 3(4). https://josephmahoney.web.illinois.edu/BA549_Fall%202010/Session%205/Jensen_Meckling%20%281976%29.pdf
- Conway, M. E.（1968）。How do committees invent? Datamation. https://www.melconway.com/Home/Committees_Paper.html
- Strathern, M.（1997）。'Improving ratings': audit in the British University system. European Review。（转述，非引用原文。）
- Ryan, R. M. & Deci, E. L.（2000）。Self-determination theory. American Psychologist, 55(1). https://selfdeterminationtheory.org/SDT/documents/2000_RyanDeci_SDT.pdf
- Edmondson, A.（1999）。Psychological safety and learning behavior in work teams. ASQ, 44(2). https://web.mit.edu/curhan/www/docs/Articles/15341_Readings/Group_Performance/Edmondson%20Psychological%20safety.pdf
- Congressional Research Service（2025-01-02 更新）。Defense primer: U.S. policy on lethal autonomous weapon systems（DoDD 3000.09，2023-01-25 修订）。 https://www.congress.gov/crs_external_products/IF/PDF/IF11150/IF11150.14.pdf
- Brooks, F. P.（1975）。 The Mythical Man-Month。（转述，非引用原文。）