AI-NATIVE 시리즈 · 에이전트형 AI의 인간 역학, 전 4부 중 1부

거의 변하지 않는 원칙들: 에이전트형 AI의 인간적 측면

글 Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app · 2026-10-14 · 읽는 시간 6분

라벨 읽는 법: EVIDENCE는 출처가 있다는 뜻이고, DESIGN은 그 관행이 어떻게 설계되었는지를, OPEN은 아직 검증되지 않았음을, 그리고 LENS는 내 개인적인 견해임을 뜻한다.

여러분은 AI 에이전트에게 일을 맡긴다. AI보다 수십 년 앞서 조종사, 플랜트 운전원, 관리자들에게서 관찰된 여섯 가지 인간 원칙은 그 위임이 어디서 깨지는지를 예측한다. 그리고 이 원칙들은 사람들이 흔히 잘못 생각하는 지점도 함께 예측한다: 에이전트가 더 나아질수록 일에서 인간이 맡는 부분은 더 중요해지고, 동시에 그 실력을 날카롭게 유지하기는 더 어려워진다는 것이다.

이 시리즈가 다루는 것: 에이전트형 AI의 인간 역학, 세 겹으로 나누어

AI 에이전트에 대한 글 대부분은 에이전트 자체를 다룬다. 이번 달에 무엇을 할 수 있는가 하는 식이다. 이 시리즈는 그 주변의 사람들을 다루며, 서로 다른 속도로 움직이는 세 겹으로 나누어 살펴본다. 원칙은 거의 변하지 않는다. 컴퓨터가 있기 전에도 성립했고, 에이전트 이후에도 성립할 것이다. 베스트 프랙티스 수십 년에 몇 번씩, 느리게 움직인다. 창발적 트렌드 분기마다 움직이고, 그 숫자는 금세 낡아버린다. 4부는 이 세 가지를 모두 하나의 질문에 적용한다: 경영진, 스타트업, 엔지니어가 어떻게 같은 작업에서 함께 이득을 볼 수 있는가.

이 시리즈는 에이전트를 얼마나 신뢰할지 결정하는 리더들을 위한 것이자, 그 결정과 함께 살아가야 할 엔지니어들을 위한 것이다.

먼저 내기를 걸어본다

여객기의 오토파일럿이 두 배로 안정적이 되었다. 조종사의 일은 더 쉬워질까, 더 어려워질까?

• A. 쉬워진다: 할 일이 줄어드니까.
• B. 변화 없다: 조종사는 여전히 어려운 부분을 직접 조종한다.
• C. 더 어려워진다: 조종사가 하는 일이 줄어드니, 오토파일럿이 통제권을 되돌려주는 순간 그만큼 대비가 덜 되어 있다.

답은 잠시 넣어두자.

원칙 1: 자동화할수록 인간이 더 중요해진다

EVIDENCE 1983년, 공학심리학자 Lisanne Bainbridge는 자동화의 아이러니를 명명했다. 그녀가 꼽은 핵심은 이것이다: "통제 시스템이 고도화될수록, 인간 운용자의 기여는 오히려 더 결정적일 수 있다"(번역: the more advanced a control system is, so the more crucial may be the contribution of the human operator). 그리고 가장 날카로운 지적은 이것이다: "자동화된 공정을 모니터링해온 숙련된 운용자가 어느새 미숙한 운용자가 되어 있을 수 있다"(번역: a formerly experienced operator who has been monitoring an automated process may now be an inexperienced one) (Bainbridge, Automatica 1983).

LENS Bainbridge는 조종석이 아니라 공정 제어를 두고 쓴 글이지만, 그녀의 주장이 가리키는 곳은 결국 C이다. 자동화는 드문 고난도 상황에 대비해 인간을 준비시켜온 바로 그 일상적 연습을 없애버린 뒤, 정확히 그 고난도 상황을 인간에게 떠넘긴다. LENS "알아서 다 처리해주는" 에이전트는 하나같이, 언젠가는 그 일을 할 줄 모르게 될 운용자를 만들어내고 있는 셈이다.

원칙 2: 신뢰는 최대화가 아니라 보정의 대상이다

EVIDENCE Raja Parasuraman과 Victor Riley는 사람들이 자동화를 잘못 다루는 방식을 네 가지로 분류했다: 사용(use), 오용(misuse), 불용(disuse), 남용(abuse)이다. "Misuse refers to over reliance on automation, which can result in failures of monitoring or decision biases." (번역: 오용이란 자동화에 대한 과도한 의존을 가리키며, 이는 모니터링 실패나 의사결정 편향으로 이어질 수 있다.) 남용은 설계자와 관리자의 죄다: "without due regard for the consequences for human performance" (번역: 인간 수행능력에 미치는 결과를 제대로 고려하지 않은 채) 자동화하는 것이다 (Parasuraman & Riley, Human Factors 1997).

목표는 애초에 최대 신뢰가 아니었다. 목표는 적절한 신뢰다: 에이전트가 신뢰할 만한 곳에서는 의존하고, 그렇지 않은 곳에서는 점검하는 것. John Lee와 Katrina See는 20년 전 이것을 이 분야의 정의로 못박았고, 에이전트라고 해서 달라질 것은 없다.

원칙 3: 위임은 계약이고, 계약에는 틈이 생긴다

EVIDENCE Michael Jensen과 William Meckling은 대리 관계를 이렇게 정의했다: "a contract under which one or more persons (the principal(s)) engage another person (the agent) to perform some service on their behalf which involves delegating some decision making authority to the agent." (번역: 한 명 이상의 사람(본인)이 다른 사람(대리인)을 고용하여 자신을 대신해 어떤 서비스를 수행하게 하며, 이 과정에서 일정한 의사결정 권한을 대리인에게 위임하는 계약.) 그들의 경고에는 조건이 붙는다: "If both parties to the relationship are utility maximizers there is good reason to believe that the agent will not always act in the best interests of the principal" (번역: 관계의 양측이 모두 효용 극대화자라면, 대리인이 항상 본인의 최선의 이익을 위해 행동하지는 않으리라고 믿을 만한 충분한 근거가 있다.) (Jensen & Meckling, Journal of Financial Economics 1976).

그들은 경영자와 주주에 관해 쓴 것이었다. LENS AI 에이전트는 이 전제를 깨뜨린다: 에이전트는 자기 자신의 효용을 극대화하지 않는다. 하지만 그 간극은 다른 방식으로 되돌아온다. 에이전트는 당신이 명시한 것을 정확히 최적화하는데, 그것이 당신이 의도한 바와 정확히 일치하는 경우는 드물며, 당신은 그 간극의 대가를 모니터링으로 치르게 된다. 이는 본인(principal)이 늘 그래왔던 것과 다르지 않다. 에이전트는 결코 경비를 부풀리지 않는다. 다만 당신이 기술적으로 허용한 범위 안에서 가장 저렴한 항공편을 예약할 뿐이다.

원칙 4: 시스템은 그것을 만든 조직을 그대로 베낀다

EVIDENCE 1968년 Melvin Conway는 이렇게 관찰했다: "organizations which design systems (in the broad sense used here) are constrained to produce designs which are copies of the communication structures of these organizations" (번역: 시스템을 설계하는 조직들은 (여기서 쓰인 넓은 의미에서) 그 조직의 의사소통 구조를 그대로 복사한 설계를 만들어낼 수밖에 없다.) (Conway, Datamation 1968).

DESIGN 멀티 에이전트 시스템은 정확히 그런 넓은 의미에서의 시스템이다. 세 팀이 각자 에이전트 하나씩을 소유하고 서로 대화하지 않는다면, 서로에게 일을 형편없이 넘겨주는 세 개의 에이전트를 얻게 될 것이다. 조직도를 그대로 옮겨놓은 것이나 다름없되, 이번에는 API 키까지 달려 있을 뿐이다. 해법은 코드보다 상류에 있다: 누가 누구와 대화할지를 먼저 정하고, 그다음에 에이전트를 설계하라.

원칙 5: 측정 지표는 목표가 되는 순간 측정으로서의 기능을 멈춘다

Charles Goodhart는 통화 목표에 관해 이 현상을 관찰했고, 인류학자 Marilyn Strathern은 훗날 이를 우리에게 익숙한 일반 명제로 다듬었다: 지표가 일단 목표가 되면 더 이상 좋은 지표가 아니다. LENS 에이전트는 이 법칙의 효력을 누그러뜨리기는커녕 오히려 더 세게 만든다. 지표를 조작하는 사람은 언젠가 지루해지거나 죄책감을 느낀다. 에이전트는 결코 그러지 않으며, 숫자를 달성할 가장 싼 방법을 그 어떤 사람보다도 집요하게 찾아낸다. 에이전트에게 지원 티켓을 더 빨리 종료하라고 시켜보라. 달리 지시하지 않는 한, 그냥 닫아버리는 것이 가장 빠른 방법이다.

원칙 6: 발언하려면 유능감, 자율성, 관계성, 그리고 심리적 안전감이 필요하다

EVIDENCE 자기결정성 이론은 유능감, 자율성, 관계성이라는 세 가지 타고난 심리적 욕구가 충족되면 자기동기가 강화된다고 말한다("three innate psychological needs--competence, autonomy, and relatedness--which when satisfied yield enhanced self-motivation")(번역: 유능감, 자율성, 관계성이라는 세 가지 타고난 심리적 욕구가 충족되면 자기동기가 강화된다) (Ryan & Deci, American Psychologist 2000). Amy Edmondson은 팀 수준의 조건을 더했다: 팀 심리적 안전감이란 팀이 대인관계상의 위험을 감수해도 안전하다는 공유된 믿음으로 정의된다("Team psychological safety is defined as a shared belief that the team is safe for interpersonal risk taking")(번역: 팀 심리적 안전감이란 팀이 대인관계상의 위험을 감수해도 안전하다는 공유된 믿음으로 정의된다) (Edmondson, Administrative Science Quarterly 1999).

에이전트에게 일을 넘기는 것은 이 네 가지 모두를 동시에 건드린다. 유능감: 내가 여전히 잘하는 일은 무엇인가? 자율성: 이제 누가 결정하는가? 관계성: 나는 누구와 함께 일하는가? 안전감: 내 상사가 선택한 에이전트가 틀렸다고 내가 말할 수 있는가? LENS 이 네 가지를 무시한 채 진행되는 에이전트 도입은 겉으로는 순응을 얻어내지만 그 아래에서는 조용한 편법만 낳기 쉽다.

이 모두를 하나로 묶는 틀: 통제가 아니라 판단력

LENS "휴먼 인 더 루프"라는 말은 어디서나 쓰인다. EVIDENCE 미국의 무기 정책은 이 개념을 가장 정밀하게 정의한다. 그 기준은 통제 자체를 위한 통제가 아니라 "무력 사용에 대한 적절한 수준의 인간 판단"("appropriate levels of human judgment over the use of force")(번역: 무력 사용에 대한 적절한 수준의 인간 판단)이며, "휴먼 온 더 루프" 시스템이란 "운용자가 감시하고 정지시킬 능력을 갖춘"("in which operators have the ability to monitor and halt")(번역: 운용자가 감시하고 정지시킬 능력을 갖춘) 시스템을 말한다(DoD Directive 3000.09, 2023-01-25 개정, Congressional Research Service, updated 2025-01-02).

LENS 에이전트에 관해서라면 유용한 질문은 "인간이 루프 안에 있는가?"가 아니다. 인간은 루프 안에 앉아 읽지도 않고 모든 것을 승인할 수 있는데, 이는 서명이 달린 원칙 2의 오용에 불과하다. 진짜 질문은 판단력이 필요한 지점이 어디이며, 그 자리에 있는 사람이 그것을 행사할 수 있는가이다. 이는 우리를 다시 자동조종장치로 데려간다: 꾸준히 연습해온 경우에만 그 사람은 판단을 행사할 수 있다. 폭풍 속에서 처음으로 조종간을 넘겨받는 상황은 누구도 바라지 않는다.

한눈에 보는 여섯 가지 원칙

| 원칙 | 명명한 사람 | 에이전트에 대한 예측 (증거가 아니라 내 해석) | |---|---|---| | 자동화할수록 인간이 더 중요해진다 | Bainbridge, 1983 | 에이전트를 점검하는 사람이 숙련도를 잃는다 | | 신뢰 수준을 조정하라 | Parasuraman & Riley, 1997; Lee & See, 2004 | 과신과 불신 모두 대가를 치르게 한다 | | 위임은 계약이다 | Jensen & Meckling, 1976 | 명세와 의도 사이의 간극을 감시하는 비용을 치르게 된다 | | 시스템은 조직을 베낀다 | Conway, 1968 | 에이전트들은 자기 팀만큼이나 서투르게 서로에게 일을 넘긴다 | | 측정 지표는 목표가 된다 | Goodhart; Strathern, 1997 | 에이전트는 사람보다 더 독하게 지표를 게임한다 | | 유능감, 자율성, 관계성, 안전감 | Ryan & Deci, 2000; Edmondson, 1999 | 이를 무시한 도입은 조용한 편법을 낳는다 |

우리가 모르는 것

OPEN 오래된 법칙 중 일부는 에이전트 시대를 온전히 버티지 못할 수도 있다. Fred Brooks는 지연된 소프트웨어 프로젝트에 사람을 더 투입하면 조율에 드는 시간 때문에 오히려 더 늦어진다는 것을 발견했다. 에이전트를 투입하는 경우도 똑같이 작동할지는 아직 열린 질문이다. 에이전트는 조율 비용을 늘리지만, 몇 달씩 걸리는 온보딩은 필요로 하지 않는다. 아직은 알 수 없으며, 안다고 말하는 사람이 있다면 그것은 추측일 뿐이다.

이 방식이 실패할 수 있는 지점

1. 장식으로 전락한 원칙. 슬라이드에 적힌 여섯 가지 원칙은 그 자체로는 아무것도 바꾸지 못한다. 각 원칙은 도입 계획 안에 구체적인 점검 항목으로 들어가야 한다.
2. 고무도장이 되어버린 '휴먼 인 더 루프'. 승인이 빠르고 한 번도 거부된 적이 없다면, 그 사람은 자동화를 견제하는 존재가 아니라 자동화의 일부일 뿐이다.
3. 원칙을 반(反)에이전트로 오해하기. 이 원칙들 중 어느 것도 자동화하지 말라고 말하지 않는다. 다만 그것이 사람들에게 무슨 영향을 미치는지 알고 자동화하라고 말할 뿐이다.

이번 주에 해볼 일

당신의 팀이 AI 에이전트에 맡긴 작업 하나를 골라보라. 세 가지를 물어보라. 사람이 마지막으로 그 일을 직접 손으로 한 것은 언제인가(원칙 1)? 누가 결과물을 점검하며, 얼마나 자주 반려하는가(원칙 2)? 에이전트는 어떤 숫자를 최적화하고 있으며, 무엇으로 그 숫자를 속일 수 있는가(원칙 5)? 두 가지 답이 나온다면 문제가 있다는 뜻이다. "이번 분기에는 아무도 직접 해본 적이 없다"는 답, 그리고 반려율이 0이라는 답—이는 점검이 점검 역할을 못 하고 있다는 뜻이다. 어느 질문에라도 "모르겠다"는 답이 나온다면, 그것이 가장 먼저 고쳐야 할 지점이다.

다음 편

원칙은 좀처럼 움직이지 않는다. 2부에서는 천천히 변화하는 층위, 즉 조직들이 에이전트와 함께 일하는 방식으로 정착시켜 온 베스트 프랙티스와, 경쟁 관계에 있는 두 AI 연구소가 어째서 거의 같은 조언을 내놓았는지를 다룬다.

출처

• Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6). https://ckrybus.com/static/papers/Bainbridge_1983_Automatica.pdf
• Parasuraman, R. & Riley, V. (1997). Humans and automation: use, misuse, disuse, abuse. Human Factors, 39(2). https://doi.org/10.1518/001872097778543886
• Lee, J. D. & See, K. A. (2004). Trust in automation: designing for appropriate reliance. Human Factors, 46(1). (서술됨, 직접 인용 아님.)
• Jensen, M. C. & Meckling, W. H. (1976). Theory of the firm. Journal of Financial Economics, 3(4). https://josephmahoney.web.illinois.edu/BA549_Fall%202010/Session%205/Jensen_Meckling%20%281976%29.pdf
• Conway, M. E. (1968). How do committees invent? Datamation. https://www.melconway.com/Home/Committees_Paper.html
• Strathern, M. (1997). 'Improving ratings': audit in the British University system. European Review. (서술됨, 직접 인용 아님.)
• Ryan, R. M. & Deci, E. L. (2000). Self-determination theory. American Psychologist, 55(1). https://selfdeterminationtheory.org/SDT/documents/2000_RyanDeci_SDT.pdf
• Edmondson, A. (1999). Psychological safety and learning behavior in work teams. ASQ, 44(2). https://web.mit.edu/curhan/www/docs/Articles/15341_Readings/Group_Performance/Edmondson%20Psychological%20safety.pdf
• 미국 의회조사국(Congressional Research Service, 2025-01-02 갱신). 국방 입문서: 치명적 자율무기체계에 관한 미국 정책(DoDD 3000.09, 2023-01-25 개정). https://www.congress.gov/crs_external_products/IF/PDF/IF11150/IF11150.14.pdf
• Brooks, F. P. (1975). The Mythical Man-Month. (서술됨, 직접 인용 아님.)

관련 글

• 2부 — 천천히 진화하는 베스트 프랙티스: 오늘날 에이전트와 함께 일하기
• 3부 — 빠르게 움직이는 신흥 트렌드: 오래된 원칙을, 다시 측정하다
• 4부 — 윈-윈-윈: 경영진, 스타트업, 엔지니어가 한 루프 안에서