AI-네이티브 시리즈 · 에이전트형 AI의 인간 역학, 2부 중 4부

천천히 진화하는 모범 사례: 오늘날 에이전트와 일하는 법

글: Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app · 2026-10-14 · 읽는 시간 6분

라벨 읽는 법: EVIDENCE는 출처가 있다는 뜻이고, DESIGN은 해당 실천 원칙이 어떻게 설계되었는지를 뜻하며, OPEN은 아직 검증되지 않았다는 뜻이고, LENS는 내 개인적인 소신을 뜻한다.

당신은 사람 곁에서 에이전트를 일하게 만들고 있다. AI 연구소, 규제 기관, 현장 실험에서 나온 여섯 가지 실천 원칙이 1부의 원칙들을 이번 분기의 규칙으로 바꿔 놓는다. 놀라운 지점은 이것이다: AI의 한계선은 들쭉날쭉해서, 어떤 과제에서는 컨설턴트를 40% 더 뛰어나게 만든 바로 그 도구가 다음 과제에서는 그들을 더 못하게 만든다. 단순하게 시작하고, 되돌릴 수 없는 일은 게이트를 걸고, 자신이 그 경계선의 어느 쪽에 있는지 알아야 한다.

이번 화에서 다루는 것: AI 에이전트와 함께 일하는 사람들을 위한 실천 원칙

1부는 좀처럼 변하지 않는 여섯 가지 원칙을 제시했다. 이번 층위는 변하긴 하지만 천천히 변한다. 몇 년간의 실전 배치를 거쳐 자리 잡았고, 앞으로도 당분간은 유지될 실천 원칙들이다. 롤아웃 계획을 작성하는 사람들을 위한 내용이다: 무엇을, 어떤 순서로 해야 하는지, 그리고 각 단계 뒤에 있는 근거가 실제로 무엇을 말하는지를 다룬다.

먼저 내기를 걸어보자

2023년 현장 실험에서, 한 최상위권 전략 컨설팅사의 컨설턴트 758명이 실제와 같은 과제를 GPT-4의 도움을 받거나 받지 않고 수행했다. 의도적으로 살짝 벗어난 지점, 즉 AI가 잘하는 영역을 조금 넘어서는 과제에서, AI를 사용한 컨설턴트들은:

• A. AI를 쓰지 않은 사람들과 정확도가 비슷했다.
• B. 조금 더 정확했다.
• C. 정확도가 훨씬 떨어졌다.

실천 1: 통하는 것 중 가장 단순한 것부터 시작하라

EVIDENCE 에이전트에 관한 Anthropic의 가이드는 이렇게 말한다: "we recommend finding the simplest solution possible, and only increasing complexity when needed,"(번역: 우리는 가능한 한 가장 단순한 해법을 찾고, 필요할 때만 복잡성을 늘릴 것을 권장한다) 왜냐하면 "agentic systems often trade latency and cost for better task performance"(번역: 에이전트형 시스템은 더 나은 과제 수행 성능을 위해 지연 시간과 비용을 맞바꾸는 경우가 많다) (Anthropic, Building effective agents, 2024). 몇 달 뒤 발표된 OpenAI의 가이드도 같은 내용을 자신들의 언어로 말한다: "Our general recommendation is to maximize a single agent's capabilities first"(번역: 우리의 일반적인 권고는 먼저 단일 에이전트의 역량을 최대한 끌어올리라는 것이다) (OpenAI, A practical guide to building agents, 2025).

LENS 경쟁 관계에 있는 두 회사가 같은 조언을 한다면, 대개는 둘 다 다른 대안이 실패하는 걸 지켜봤기 때문이다. 좋은 도구를 갖춘 단일 에이전트는 검증하기도 쉬운데, 이는 1부의 원칙 2가 아키텍처로 구현된 형태다.

실천 2: 되돌릴 수 없는 일은 게이트를 걸어라

EVIDENCE 같은 OpenAI 가이드는 사람이 개입해야 할 시점을 이렇게 명시한다: "Actions that are sensitive, irreversible, or have high stakes should trigger human oversight until confidence in the agent's reliability grows,"(번역: 민감하거나, 되돌릴 수 없거나, 위험 부담이 큰 행동은 에이전트의 신뢰성에 대한 확신이 커질 때까지 사람의 감독을 반드시 거쳐야 한다) 예를 들면 "canceling user orders, authorizing large refunds, or making payments."(번역: 사용자 주문 취소, 고액 환불 승인, 결제 처리 등이 있다.) Anthropic은 "pause for human feedback at checkpoints or when encountering blockers."(번역: 체크포인트에 도달하거나 장애물을 만났을 때 멈춰서 사람의 피드백을 기다린다.)는 에이전트를 묘사한다.

DESIGN 여기서 도출되는 규칙은 단순하다. 에이전트가 취할 수 있는 모든 행동을 되돌릴 수 있는 것과 되돌릴 수 없는 것으로 나눈다. 되돌릴 수 있는 것은 그냥 실행하게 둔다. 되돌릴 수 없는 것 앞에는 실제로 생각할 시간이 있는 사람을 세워둔다. 그런 다음 그 게이트는 열정이 아니라 증거를 바탕으로, 에이전트가 신뢰를 쌓은 만큼만 조금씩 열어준다. "지금까지는 괜찮았다"는 말은, 환불 사고가 터지기 전까지는 누구나 하는 말이다.

실천 3: 할 수 있는 일을 분명히 말하고, 확신이 없을 땐 범위를 좁혀라

EVIDENCE Microsoft의 연구팀은 "18 generally applicable design guidelines for human-AI interaction,"(번역: 인간-AI 상호작용에 일반적으로 적용 가능한 18가지 설계 지침을) 제안했고, 이는 49명의 디자인 실무자가 20개의 AI 제품을 대상으로 검증한 것이다. 첫 번째 지침은 "Make clear what the system can do."(번역: 시스템이 할 수 있는 일을 분명히 하라.) 열 번째는 "Scope services when in doubt"(번역: 확신이 없을 땐 서비스 범위를 좁혀라) (Amershi et al., CHI 2019).

이런 말들은 당연하게 들리는데, 바로 그게 핵심이다. 에이전트를 "뭐든 도와드립니다"라는 식으로 소개하는 것은 신입 직원을 "이것저것 잘합니다"라고 소개하는 것과 다를 바 없다. LENS 내 경험상 실패한 롤아웃은 종종 이 지침들을 건너뛴다. 에이전트는 "뭐든 도와드립니다"라는 식으로 소개되고, 사람들은 엉뚱한 일에 그것을 써보고, 신뢰는 제대로 보정될 기회조차 없이 무너진다.

실천 4: 과잉 의존을 막도록, 의도적으로 설계하라

EVIDENCE 표준화 기구와 규제 당국은 이제 이 실패 양상을 명시적으로 지목한다. NIST의 자발적 생성형 AI 프로파일은 다음과 같이 경고한다. "humans may over-rely on GAI systems… This phenomenon is an example of automation bias, or excessive deference to automated systems"(번역: 인간은 생성형 AI 시스템에 과잉 의존할 수 있다… 이 현상은 자동화 편향, 즉 자동화된 시스템에 대한 과도한 순응의 한 예다) (NIST AI 600-1, 2024). EU AI Act는 고위험 시스템이 다음과 같이 설계되도록 요구한다 "that they can be effectively overseen by natural persons,"(번역: 자연인에 의해 효과적으로 감독될 수 있도록) 그리고 감독자는 "remain aware of the possible tendency of automatically relying or over-relying on the output"(번역: 산출물에 자동으로 의존하거나 과도하게 의존하는 경향 가능성을 계속 인식하고 있어야 한다) (EU AI Act, Article 14).

이것이 바로 1부의 '오용'이 법률 조항으로 명문화된 모습이다. DESIGN 실무에서는 이렇게 한다: 에이전트의 확신도와 출처를 보여주고, '동의하지 않음'을 '승인'만큼 쉽게 만들고, 사람들이 얼마나 자주 번복하는지 측정한다. 답이 '전혀 없음'이라면, 에이전트가 완벽하거나 아무도 제대로 보고 있지 않거나 둘 중 하나다. 뒤쪽에 걸어야 한다.

실천 5: 프론티어가 어디인지 파악하고, 켄타우로스나 사이보그로 일하라

EVIDENCE 다시 그 내기 이야기로 돌아가 보자. 그 실험에서 AI를 사용한 컨설턴트는 "completed 12.2% more tasks on average, and completed tasks 25.1% more quickly,"(번역: 평균적으로 12.2% 더 많은 과제를 완료했고, 25.1% 더 빠르게 과제를 완료했다) 결과는 "more than 40% higher quality."(번역: 품질이 40% 이상 더 높았다) 였다. 하지만 AI의 프론티어를 벗어난 과제에서는, AI를 사용한 컨설턴트가 "were 19 percentage points less likely to produce correct solutions"(번역: 올바른 해결책을 내놓을 가능성이 19퍼센트포인트 더 낮았다) (Dell'Acqua et al., HBS working paper, 2023). 답은 바로 이것이다C. 이 부에서 실천 하나만 기억한다면, 바로 이것으로 하라: 자신이 프론티어의 어느 쪽에 있는지 알라는 것이다.

다시 1부의 자동조종 이야기다. 위험한 것은 예상치 못하게 되돌아오는 제어권 이양이다. 저자들은 그 경계를 들쭉날쭉(jagged)이라 불렀다. AI는 어떤 과제에서는 탁월하지만, 겉보기에 비슷해 보이는 인접 과제에서는 조용히 틀린다. 저자들은 두 가지 좋은 작업 방식을 발견했다. 켄타우로스는 "dividing and delegating"(번역: 나누고 위임하는) 방식으로 사람과 AI 사이에 작업을 분할한다. 사이보그는 "completely integrating their task flow with the AI."(번역: 자신의 작업 흐름을 AI와 완전히 통합하는 것이다.) LENS 둘 다 통한다. 실패하는 경우는 프론티어의 어느 쪽에 서 있는지를 모를 때인데, 바로 그래서 실천 3이 그토록 중요한 것이다.

실천 6: 초보자가 가장 크게 얻는다는 것을 예상하고, 그들의 학습 방식을 지켜주라

EVIDENCE 고객지원 상담원 5,179명을 대상으로 한 연구(2023년 워킹페이퍼, 2025년 Quarterly Journal of Economics誌에 게재)에서 AI 지원은 다음을 끌어올렸다 "issues resolved per hour, by 14% on average,"(번역: 시간당 해결 건수를 평균 14% 높였고,) 동시에 "a 34% improvement for novice and low-skilled workers but with minimal impact on experienced and highly skilled workers"(번역: 초보자 및 숙련도가 낮은 근로자에게는 34%의 향상을 가져온 반면, 경험 많고 숙련도가 높은 근로자에게는 거의 영향을 미치지 않았다) (Brynjolfsson, Li & Raymond, NBER).

이는 이 분야에서 가장 고무적인 소식이면서 동시에 경고이기도 하다. AI는 사실상 전문가의 습관을 초보자에게 전수해주고 있었던 셈이다. 하지만 1부의 원칙 1은, 도움 없이 혼자 그 일을 해본 적 없는 초보자는 다음 시스템이 학습할 대상인 전문가로 끝내 성장하지 못할 수도 있다고 말한다. DESIGN 그래서 이 실천은 양면적이다. 주니어에게 AI의 도움을 주되, 동시에 의도적으로 도움 없이 혼자 연습하고 설명을 들을 기회도 줘야 한다는 것이다.

실천이 원칙과 어떻게 짝지어지는가

각 실천은 구현 방식을 갖춘 하나의 원칙이다:

| 실천 | 구현하는 원칙 | 근거 | |---|---|---| | 단순하게 시작하라 | 조정 가능한 의존도 (원칙 2) | Anthropic 2024; OpenAI 2025 | | 되돌릴 수 없는 것을 게이트하라 | 판단력이 필요한 곳에 판단력을 두기 (1부의 틀) | OpenAI 2025; Anthropic 2024 | | 할 수 있는 것을 말하라 | 첫날부터 조정된 신뢰 (원칙 2) | Amershi et al. 2019 | | 과잉 의존을 막도록 의도적으로 설계하라 | 방지되는 오남용 (원칙 2) | NIST AI 600-1, 2024; EU AI Act Art. 14 | | 프론티어를 알라 | 관리되는 역설 (원칙 1) | Dell'Acqua et al. 2023 | | 초보자의 학습 방식을 지켜라 | 방지되는 역설 (원칙 1) | Brynjolfsson, Li & Raymond 2023/2025 |

OPEN 무엇이 빠져 있는지 살펴보자. 원칙 3부터 6까지(계약, Conway, Goodhart, 동기)에 대한 실천은 공개된 가이드라인에서 훨씬 빈약하다. 이 공백은 이 분야가 아직 해소하지 못한 열린 질문이다. 4부에서는 그중 둘, 위임 계약과 동기를 다룬다.

어떻게 실패할 수 있는가

1. 실천을 준수 체크리스트로 다루는 것. '휴먼 게이트'를 체크만 해두고 오버라이드 빈도를 측정하지 않는 것은 1부가 말한 오용의 새로운 형태다.
2. 게이트를 얼려버리는 것. 돌이킬 수 없는 행동에 대한 게이트가 끝내 풀리지 않으면, 사람들은 그 게이트를 우회하는 법을 배우게 된다.
3. 연구 하나를 법칙으로 착각하는 것. 컨설팅 연구와 콜센터 연구는 둘 다 탄탄하지만, 각각 하나의 환경일 뿐이다. 여러분의 환경에서 다시 검증해 보라.

이번 주에 할 일

여러분의 에이전트가 수행할 수 있는 모든 행동을 나열하라. 각각을 되돌릴 수 있는 것과 돌이킬 수 없는 것으로 표시하라. 돌이킬 수 없는 행동 중 사람이 먼저 확인하지 않고 실행되는 것이 몇 개인지 세어 보라. 그 수가 0이 아니라면, 이번 주에 고쳐야 할 것을 찾은 셈이다.

다음 편

실천은 천천히 움직인다. 3부에서는 지금 빠르게 움직이고 있는 것들을 다룬다: 주니어 채용, 탈숙련화, 고유한 정체성을 가진 에이전트, 그리고 2025년의 여러 대표적인 수치들이 벌써 낡은 것이 되어버린 이유.

출처

• Anthropic (2024). Building effective agents. https://www.anthropic.com/engineering/building-effective-agents
• OpenAI (2025). A practical guide to building agents. https://cdn.openai.com/business-guides-and-resources/a-practical-guide-to-building-agents.pdf
• Amershi, S. et al. (2019). Guidelines for human-AI interaction. CHI 2019. https://www.microsoft.com/en-us/research/uploads/prod/2019/01/Guidelines-for-Human-AI-Interaction-camera-ready.pdf
• NIST (2024). AI 600-1: Generative AI Profile. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
• NIST (2023). AI Risk Management Framework 1.0. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf
• European Union (2024). AI Act, Article 14: Human oversight. https://artificialintelligenceact.eu/article/14/
• Dell'Acqua, F. et al. (2023). Navigating the jagged technological frontier. HBS working paper 24-013. https://mitsloan.mit.edu/sites/default/files/2023-10/SSRN-id4573321.pdf
• Brynjolfsson, E., Li, D. & Raymond, L. (2023; QJE 2025). Generative AI at Work. NBER w31161. https://www.nber.org/papers/w31161

관련 글

• 1부 — 거의 변하지 않는 원칙들: 에이전트형 AI의 인간적 측면
• 3부 — 빠르게 움직이는 신흥 트렌드: 다시 측정한 오래된 원칙들
• 4부 — 모두가 이기는 길: 경영진, 스타트업, 엔지니어가 한 루프 안에서