Paul Jialiang Wu agentic-portfolio English 中文 Español 日本語✉️ 무료 구독
← 포트폴리오로 돌아가기

AI-Native 시리즈 · 에이전트 엔지니어링 비교: 프롬프트 · 컨텍스트 · 하니스 · 루프 · 그래프

그래프 엔지니어링: 일정이 곧 설계, 페르소나는 의상일 뿐

이 연재는 총 6편 중 5번째 이야기다. 사람들이 AI 에이전트를 설계하는 다섯 가지 방식 — 프롬프트, 컨텍스트, 하니스, 루프, 그래프 엔지니어링 — 을 비교한다. 각 방식의 기원, 제어 범위, 주도자, 그리고 실제로 측정에서 살아남는 원칙을 짚는다. 이번 편은 에이전트 하나로는 더 이상 충분하지 않은 단계이자, 대부분이 잘못된 선택을 하는 지점이다.

글쓴이Paul Jialiang Wu · futuremake.io · 2026-09-11 · 총 6편 중 5편

Cover: white ground with a black left rail. Eyebrow AGENT ENGINEERING SERIES · EPISODE 5 OF 6 · GRAPH ENGINEERING above the serif title Graph Engineering Is a Schedule, Not a Cast of Personas, then two grey lines: Who may talk to whom, when, carrying what state — the edges are the design. Every path to the output crosses a verifier. Below the heading SIX WAYS TO SHAPE AN AGENT — THIS EPISODE IS RUNG 5, THE SCHEDULE, a row of six boxes: 1 PROMPT the words you send, 2 CONTEXT what it can see, 3 HARNESS what it can do, 4 LOOP how it fixes itself, 5 GRAPH who talks to whom (highlighted black, white text), 6 EVALUATION what counts as right. Below, three grey cards: WHO IT'S FOR — AI engineers, founders, executives, investors, high-school builders; YOU LEAVE WITH — a free Colab lab (no API key) + 2 apps built from nothing; THE FINDING — one verifier on every path: error 0.510 → 0.080, N=100 stub. Footer: Paul Jialiang Wu · futuremake.io.
총 6편 중 5편: 그래프 엔지니어링 — 설계의 단위가 에이전트에서 엣지(연결)로 넘어가는 단계, 그리고 모든 경로가 반드시 검증자를 거쳐야 한다는 사실이 어떤 출연진 구성보다 강력하다는 발견.

1분 요약 — 이 글에서 얻어갈 핵심

이 글의 내용 AI 에이전트를 설계하는 다섯 가지 방식 — 프롬프트 엔지니어링(보내는 단어), 컨텍스트 엔지니어링(볼 수 있는 정보), 하니스 엔지니어링(할 수 있는 일), 루프 엔지니어링(스스로 고치는 방식), 그리고 그래프 엔지니어링(여러 에이전트가 어떻게 조율되는가)(여러 에이전트가 어떻게 협력하는지에 관한 이야기다. 이번 편은 그래프 엔지니어링의 역사(2023~2026), 주도 세력, 그리고 실제로 측정에서 살아남은 원칙을 다룬다. 설계의 본질은 엣지—즉, 누가 언제 누구와 어떤 상태를 주고받을 수 있는지—에 있고, 페르소나는 단지 의상에 불과하다.)

이것이 중요한 이유다.멀티 에이전트 시스템은 다양한 역할의 등장인물로 포장되어 팔린다. 실제로는 채팅 한 번의 15배에 달하는 비용이 들고, 단일 에이전트에서는 볼 수 없는 방식으로 실패한다. 7개 프레임워크에서 1,600개가 넘는 주석 달린 트레이스를 바탕으로 구축된 분류표를 보면, 실패 유형의 3분의 1이작업 검증에 집중되어 있다. 내가 직접 시드값을 고정해 실험한 결과, 네 명의 작업자와 역할 이름을 그대로 두고 연결 구조만 바꿨을 때 종단 간 오류율이 0.510에서 0.080으로 떨어졌다(N=100 시뮬레이터 기준). 그런데 체크 노드를 우회하는 단 하나의 지름길 엣지를 추가하자(체크 노드는 여전히 존재), 오류율이 다시 0.240으로 치솟았다—N=100에서 약 2~3배(기대값 2.4배)다. 창업자 입장에서는 데모냐 청구서냐의 차이고, 엔지니어에게는 마이크로초 만에 실행되며 모델 호출이 필요 없는 체크다.

이 글을 읽고 나면 할 수 있는 일.자신의 에이전트 시스템을 엣지 리스트로 그려보고, 검증자를 거치지 않고 출력에 도달하는 모든 경로를 찾아 그 개수를 빌드 실패로 간주하라. 네 가지 토폴로지를 나란히 비교 측정할 수 있는 무료 Colab 노트북(별도 API 키 없이, CPU 몇 초면 충분)과, 표준 라이브러리만으로 처음부터 만든 두 개의 앱을 제공한다. 하나는 일정 기반으로 224개의 상호 충돌을 단 하나도 놓치지 않는 저녁 식사 파티 플래너(페르소나만으로 대화하면 50개만 잡아낸다), 또 하나는make gate이 1이 되는 순간, 누군가 지름길을 추가하면 정확히 어떤 경로가 문제인지 즉시 이름을 찍어주는 인시던트 대응 그래프다.

Season 7 — 시리즈 줄기
  1. 프롬프트 엔지니어링 — 주문이 아니라 명세다 1화
  2. 컨텍스트 엔지니어링 — 더 큰 윈도우가 아니라 예산 2화
  3. 하니스 엔지니어링 — 에이전트가 아니라 경계선 3화
  4. 루프 엔지니어링 — 재시도가 아니라 외부 심판 4화
  5. 그래프 엔지니어링 — 페르소나 출연진이 아닌 일정 이번 화
  6. 평가 엔지니어링 — 진리 함수이며, 리더보드는 그 결과일 뿐이다 6화

이번 편에서 다루는 범위와, 그래프 엔지니어링이 다섯 번째에 위치한 이유

AI 에이전트를 구축하는 여섯 개의 명명된 분과가 이제 자리를 잡았다. 대략 이 순서다: 프롬프트 엔지니어링(2020), 루프 및 평가 엔지니어링(2022), 그래프 엔지니어링(2023), 하니스 엔지니어링(2024), 컨텍스트 엔지니어링(2025). 이 중 처음 다섯을 가장 명확하게 정리한 것은 Feng 외의 서베이(arXiv:2608.21156), 이 논문은 연대순이 아니라 각 방법이 실제로 통제하는 대상을 기준으로 정렬한다. 즉, 프롬프트 → 컨텍스트 → 하니스 → 루프 → 그래프 순이다. 여섯 번째 단계는 이들의 논문에 포함되지 않으며, 인용도 아니다 — 평가 엔지니어링은 이 시리즈의 독자적 주장이고, 6화에서 그 필요성을 논증한다. 본 시리즈는 각 단계를 한 화씩 다루며, 매번 같은 네 가지 질문을 던진다. 즉, 어디서 비롯되었는가, 무엇을 통제하는가, 누가 주도하는가, 그리고 어떤 실패가 다음 단계로 밀어내는가이다.

그래프 엔지니어링은 더 이상 에이전트의 능력 자체가 아니라 조직 역량이 부족해지는 시점에 도달하는 단계다. 즉, 여러 종류의 전문성이 동시에 요구되고, 서로 의존하는 하위 작업, 병렬로 처리할 수 있는 일, 반드시 누군가가 검증해야 하는 결과, 단계 사이에 남아야 하는 상태 등이 등장한다. 이제는 한 작업자를 미세 조정하는 것이 아니라, 누가 무엇을 누구에게 넘길지 설계하는 일이 된다. 바로 이 지점에서 업계는 가장 자신 있게 엔지니어링을 하면서도, 실상은 가장 검증이 어려운 대상 — 직함 목록 — 을 만지고 있다.

Table titled THE SIX DISCIPLINES — WHAT EACH CONTROLS · WHO LANDMARKED IT · WHERE IT BREAKS, with columns Discipline · landmark year, What you control, Landmark sources (who · when), and Primary failure. Row 1 Prompt engineering, 2020, episode 1 — the words you send: instructions, examples, the shape of the answer — GPT-3 few-shot OpenAI 2020, chain-of-thought Google 2022, DSPy Stanford 2023 — the model needs facts the words cannot carry. Row 2 Context engineering, 2025, episode 2 — what the model can see: retrieved docs, memory, tool results, budget — Anthropic engineering post 2025, Feng et al. survey 2026 — it sees the right facts and still cannot act. Row 3 Harness engineering, 2024, episode 3 — what it can do: tools, permissions, execution, validation, retries — Building Effective Agents Anthropic 2024, Weng 2026, Dhage measurement 2026 — one run is right and the next run differs. Row 4 Loop engineering, 2022, episode 4 — how it corrects itself: measure, reflect, retry, improve — self-consistency Google 2022, Reflexion 2023, Feng et al. 2026 — one agent's capacity is the bottleneck. Row 5 Graph engineering, 2023, this episode, highlighted with a grey band and a black left bar — how many agents coordinate: roles, edges, schedule — AutoGen Microsoft 2023, LangGraph 2024, Feng et al. survey 2026 — the system must learn from what came back broken. Row 6 Evaluation engineering, 2022, episode 6 — what the whole system learns from what came back wrong — HELM Stanford 2022, LLM-as-a-judge LMSYS 2023, AI Agents That Matter Princeton 2024 — the eval itself gets gamed (Goodhart).
이 시리즈를 표 하나로 요약하면, 이번 화의 행이 강조되어 있다. 연도는 각 분야가 이름 붙여질 수 있게 만든 출처를 기준으로 하며, 용어가 처음 만들어진 시점은 아니다. 1–4, 6번 행의 출처는 1화와 6화에, 이번 5번 행의 출처는 아래 참고문헌에 있다.

이 글의 독자 두 번째 에이전트를 추가하려는 엔지니어, 다섯 개 에이전트가 있는 시스템을 디버깅하는 개발자, '멀티 에이전트'가 진짜 아키텍처인지 아니면 투자자용 슬라이드인지 고민하는 창업자, '에이전트 수를 늘리라'는 답을 들었지만 실제 청구서를 보고 싶은 임원, 조직도 신비주의 없이 '오케스트레이션'이 뭔지 알고 싶은 고등학생 제작자. 선수 조건: 모델 호출을 두 번 이상 연결해 본 경험.

그래프 엔지니어링의 기원과 현재 주도자

[정의] A 그래프란 이산수학 수업에서 배우는 바로 그 구조다. 노드와 방향성 엣지로 이루어지며, 노드는 작업 단위 — 에이전트, 도구, 검증 등 — 이고, 엣지는 누가 누구에게 작업을 넘길 수 있는지를 나타낸다. 그래프 엔지니어링이란 이 구조를 우연에 맡기지 않고 의도적으로 설계하는 것이다. 업계가 '두 챗봇의 대화'에서 '컴파일된 실행 그래프'로 진화해온 과정이 곧 이 분야의 역사다.

시점주요 사건주체변화 내용
2023-03CAMEL (arXiv:2303.17760)Li 외, KAUST두 에이전트가 인간 개입 없이 역할극 대화를 진행한다. '상대방도 모델이면 어떻게 될까?'라는 질문에 대한 최초의 널리 복제된 답변.
2023-07ChatDev (arXiv:2307.07924)Qian 외, 칭화대소프트웨어 회사를 고정된 순서의 대화로 구현한다. chat chain은 그 순서 자체를 산출물로 만든다. 즉, 일정이 곧 설계라는 점을 처음으로 드러낸 사례다.
2023-08-01MetaGPT (arXiv:2308.00352)Hong et al.표준화된 운영 절차를 프롬프트 시퀀스로 구현해 조립 라인처럼 작동시킨다. 이를 통해 에이전트들이 "verify intermediate results and reduce errors"(번역: 중간 결과를 검증하고 오류를 줄인다). 검증 단계가 아키텍처에 본격적으로 도입된다.
2023-08-16AutoGen (arXiv:2308.08155)Wu et al., Microsoft대화 패턴이 산문이 아니라 코드로 직접 프로그래밍 가능해진다. 2년간 업계 표준 멀티에이전트 프레임워크로 자리 잡았다.
2024-02More Agents Is All You Need (arXiv:2402.05120)Li et al., Tencent샘플링과 투표: 에이전트 수가 늘어날수록 성능이 향상되며, 이들 사이에는 어떤 소통도 없다. 출연진이 본질이 아니라는 점을 보여주는 가장 강력한 논거다.
2024LangGraph (github.com/langchain-ai/langgraph)LangChain그래프가 툴링에서 1급 객체로 격상된다. 노드, 엣지, 그리고 단계마다 확인 가능한 명시적 공유 상태가 제공된다.
2025-03Why Do Multi-Agent LLM Systems Fail? (arXiv:2503.13657)Cemri et al., UC Berkeley 및 협력 연구진이 시스템에 대한 최초의 실패 분류표는 일곱 개 프레임워크에서 주석이 달린 트레이스를 바탕으로 만들어졌다. 멀티 에이전트 시스템은 더 이상 막연한 분위기가 아니라, 구체적으로 명명된 결함을 가진 실체로 자리 잡는다.
2025-04-09Agent2Agent protocol (developers.googleblog.com)Google엣지는 이제 벤더 간 프로토콜이 된다. 서로 다른 프레임워크의 에이전트들이 서로를 발견하고, 작업을 위임한다. 이제 엣지는 단순한 임포트가 아니라, 명확한 인터페이스다.
2025-06-13How we built our multi-agent research system (anthropic.com/engineering)Anthropic프로덕션 환경에서의 양면 보고서다. 내부 평가에서의 큰 성과와, 그 대가로 지불해야 하는 토큰 배수까지 모두 담았다.
2026-08Graph Engineering in the Era of LLM Agents (arXiv:2608.21156v2)Feng et al.이 패러다임에 이름을 붙이고, 다섯 번째 자리에 올려놓으며, 결정적 제약 조건이 인지적이 아니라 조직적임을 주장한다.
2026-09-04Inference-Time Graph Engineering (arXiv:2609.05774)Tieu et al.그래프의 컴파일과 실행을 분리해, 토폴로지를 실행 전에 점검할 수 있게 한다. 본격적인 컴파일러 시대의 시작이다.

[DESIGN] 세 가지를 눈여겨볼 만하다. 첫째, 이 분야는 2023년 대화를 기본 단위로 시작해 3년간 구조로 대체해왔다. CAMEL은 두 명의 화자, ChatDev는 순서, AutoGen은 패턴, LangGraph는 엣지 리스트, 2026년의 연구는 컴파일러다. 둘째, 검증은 초기에 등장한다 — MetaGPT가 2023년 8월에 중간 결과를 검증한다 — 그러나 곧 마케팅에서는 거의 사라진다. 이 간극이 바로 이번 에피소드의 주제다. 셋째, 표에서 가장 날카로운 실증적 결과는 그래프가 전혀 필요 없을 수도 있음을 시사한다. 독립적으로 답을 샘플링하고 투표만 해도, 엣지 없이도 성능이 확장된다.

지금은 누가 이끌고 있는가. 프레임워크 벤더들(LangGraph, AutoGen 계열)이 실제로 엔지니어가 작성하는 추상화를 주도한다. 모델 연구소들은 프로덕션 경험을 공개한다. Anthropic의 보고서는 멀티 에이전트 시스템 운영 비용에 대한 가장 상세한 공개 자료다. Google의 A2A는 엣지를 두 회사가 공유할 수 있는 프로토콜로 만든다. 학계는 유용하게 양분되었다. 한쪽은 패러다임을 체계화(Feng et al.), 다른 한쪽은 그것이 어떻게 깨지는지 측정(Cemri et al., 2026년 토폴로지 논문들). 두 번째를 먼저 읽는 것이 좋다.

이 시리즈의 사고 모델: 주방 사다리

여섯 편 전체를 관통하는 하나의 그림이 있다. 이야기가 아니라 도구로 제시된다. 모든 요리사는 같은 사다리를 오른다. 자신을 위해, 가족을 위해, 레스토랑 주방, 패스트푸드 체인, 그리고 여러 체인을 먹여 살리는 국가 공급망까지. 모든 AI 엔지니어도 이에 대응하는 사다리를 오른다 — 학생, 주니어 개발자, 시니어 개발자, AI 테크 리드, CTO, 프런티어 리더.

이번 에피소드는 국가 공급망에 해당한다. 여러 주방, 하나의 일정, 하나의 트럭 플릿. 그 고도에서의 역할을 생각해보자. 당신은 요리하지도, 맛보지도 않는다. 어떤 물류센터가 어떤 주방에 배송할지, 어떤 배송이 선반에 오르기 전에 검사받을지, 불합격된 팔레트는 어떻게 처리할지 결정한다. 국가급 식품 시스템을 운영하는 누구도 음식의 안전이 운전기사의 자기소개에 달려 있다고 믿지 않는다.

단계주방당신의 정체성이 단계에서 설계할 수 있는 것
1. 프롬프트레시피 카드 — 혼자 요리하는 단계학생요리사가 참고하는 글로 된 지침
2. 컨텍스트식재료 저장실 — 가족을 위한 요리주니어 개발자요리하는 동안 조리대와 냉장고에 놓인 모든 재료
3. 하니스레스토랑 주방시니어 개발자각 작업 스테이션, 손 닿는 도구, 모든 접시를 점검하는 패스
4. 루프패스트푸드 체인AI 테크 리드맛보고, 측정하고, 수정해서 모든 매장에 적용
5. 그래프전국 공급망 — 여러 주방, 하나의 일정, 하나의 트럭 운송망CTO어떤 물류센터가 어떤 주방에, 어떤 순서로 물품을 보내고, 그 과정에서 무엇이 검사되는지 결정하는 일이다.
6. 평가 엔지니어링리콜 로그프론티어 리더전체 식품 시스템이 반품된 문제에서 무엇을 학습하는지

축은 하나가 아니라 둘이다. 이 사다리는 한 번 오르고 끝나는 계단이 아니다. 모든 주방에는 여섯 개의 계층이 동시에 존재한다. 집에서 요리하는 사람도 레시피 카드, 식재료 저장고, 조리도구, 맛보기, 공급자, 그리고 지난번에 무엇이 잘못됐는지에 대한 기억을 모두 갖고 있다. 올라갈수록 달라지는 것은 내가 직접 다룰 수 있는 계층의 수와 각 계층을 얼마나 엄격하게 운영하는지다. 처음에는 감으로 하다가, 점차 측정하고, 게이트를 두고, 스스로 고치는 단계로 발전한다. 멋진 다이어그램만 있고 검사 단계가 없는 전국 체인은, 모든 접시를 저울에 올려보는 단일 레스토랑보다 성숙도가 낮다. 그래서 각 엔지니어링 분야는 계층 (내가 통제하는 것)이고, 시니어리티는 성숙도 (내가 그것을 어떻게 운영하는가)다. 그리고 그래프가 루프보다 무조건 더 고급이라는 뜻은 아니다. 이 착각이 여기서 가장 비싼 실수다. 장식용 그래프는 그리기 쉽고, 보여주기에도 유난히 뿌듯하기 때문이다.

이 비유는 주장을 소개할 수는 있지만, 결코 증거가 될 수 없다. 아래 1:1 매핑에서 모든 요소가 실제 코드와 연결된다. 그리고 이 에피소드는, 모든 경로에 검사가 들어간 완벽한 스케줄 시스템조차 그 검사가 실제로 쓸모 있는지 알 수 없다는 사실을 발견하며 끝난다. 그게 바로 에피소드 6이다.

이 사다리도, '그래프'라는 단어도 내 것이 아니다.

[정의] 용어는 그 출처에 고정되어 있다. 이 단계에는 다른 어떤 단계보다 더 많은 경쟁적 명칭(오케스트레이션, 멀티에이전트 시스템, 에이전트 워크플로우, 스웜, 에이전트형 메쉬 등)이 붙어 있고, 대부분은 구조가 아니라 출연진에 이름을 붙인다.

Feng 외의 서베이(arXiv:2608.21156v2, 2026-08-26 개정, 2026-09-11 arXiv 초록으로 확인)는 이 단계 아래 네 개의 단계를 명명한 뒤, 다섯 번째 단계를 주장한다. 이들이 왜 다섯 번째 단계가 필요한지에 대한 진단은 다섯 가지 항목의 목록이며, 그 중 어느 것도 페르소나가 아니다:

"many tasks require heterogeneous expertise, interdependent subtasks, parallel execution, independent verification, and persistent state, exceeding any single agent's organizational capacity"(번역: 많은 작업이 이질적인 전문성, 상호 의존적인 하위 작업, 병렬 실행, 독립적인 검증, 그리고 지속되는 상태를 필요로 하며, 이는 단일 에이전트의 조직적 역량을 초과한다)
— Feng 외, 2026

이질적인 전문성, 상호 의존적 하위 과제, 병렬 실행, 독립적 검증, 지속되는 상태. 이 다섯 가지는 모두 구조의 속성이다. 즉, 어떤 노드가 무엇을 알고, 무엇을 기다리며, 무엇을 검증하고, 그 사이에 무엇이 남는지에 관한 이야기다. 이 설문은 목표를 System Intelligence라고 부르며, 그 정의는 다음과 같다. "an agent system's ability to organize and coordinate multiple intelligent components into a coherent, adaptive whole pursuing a shared objective" (번역: 에이전트 시스템이 여러 지능형 구성 요소를 하나의 일관되고 적응적인 전체로 조직하고 조정하여 공동의 목표를 추구하는 능력)이다. 그리고 단순히 에이전트 수를 늘리는 것으로는 이 목표에 도달할 수 없음을 명확히 밝힌다: "Achieving it requires more than adding agents; it demands explicit structures to organize work, coordinate heterogeneous agents, and maintain evolving execution states." (번역: 이를 달성하려면 단순히 에이전트를 추가하는 것만으로는 부족하다. 작업을 조직하고, 이질적인 에이전트를 조정하며, 변화하는 실행 상태를 유지하기 위한 명시적 구조가 필요하다.)

그리고 이 설문이 구축하는 것은, 설문 자체의 표현을 빌리면, "explicit, dynamic, evolving graph structures representing tasks, agents, and system states" (번역: 작업, 에이전트, 시스템 상태를 나타내는 명시적이고 동적이며 진화하는 그래프 구조)이다. 작업, 에이전트, 상태. 세 가지 종류의 노드가 있을 뿐, 페르소나라는 의상은 없다.

[OPEN] 설문이 주장하지 않는 점에 주목해야 한다. 이 단계가 이전 단계를 대체한다거나, 그래프가 루프보다 낫다는 식의 주장은 없다. 이 설문은 원칙, 방법론, 응용을 정리한 지도일 뿐, 벤치마크 결과가 아니다. 이를 근거로 멀티에이전트가 단일 에이전트보다 우월하다고 말하는 것은 지도를 실측값으로 오해하는 셈이다.

주장의 성격

[DEF] 이 글의 주장: 멀티에이전트 시스템에서 설계의 본질은 엣지에 있다 — 누가 누구와 언제, 어떤 상태를 주고받을 수 있는지가 설계이고, 페르소나는 단지 의상에 불과하다. 페르소나는 프롬프트 속 문자열일 뿐이고, 엣지는 무엇이 어디에 도달할 수 있는지에 대한 사실이다. 이 둘 중 시스템을 실제로 실행하지 않고도 점검할 수 있는 것은 오직 엣지뿐이다.

[EVIDENCE] 이 주장을 곧이곧대로 받아들여야 할 첫 번째 이유는, 실제로 누군가 이런 시스템이 어떻게 실패하는지 분류했으며, 그 분류는 페르소나와는 무관하기 때문이다. Cemri 등(arXiv:2503.13657, 2026-09-11 arXiv 초록 열람, 2025-10-26 v3 기준)은 전제를 가정하지 않는 것으로 논의를 시작한다: "Despite enthusiasm for Multi-Agent LLM Systems (MAS), their performance gains on popular benchmarks are often minimal." (번역: 멀티에이전트 LLM 시스템(MAS)에 대한 열광에도 불구하고, 이들이 주요 벤치마크에서 얻는 성능 향상은 대개 미미하다.)

이들이 대신 구축한 것은 데이터셋이다 — "1600+ annotated traces collected across 7 popular MAS frameworks" (번역: 7개의 주요 MAS 프레임워크에서 수집된 1600개 이상의 주석 달린 트레이스) — 그리고 이 중 150개를 인간 주석자가 직접 읽고 도출한 분류체계다."validated by high inter-annotator agreement (kappa = 0.88)". 그 결과, MAST:

"This process identifies 14 unique modes, clustered into 3 categories: (i) system design issues, (ii) inter-agent misalignment, and (iii) task verification."(번역: 이 과정에서 14가지 고유한 유형이 확인되었으며, 이는 세 가지 범주로 묶인다: (i) 시스템 설계 문제, (ii) 에이전트 간 불일치, (iii) 과제 검증.)
— Cemri et al., arXiv:2503.13657

[DERIVATION] 이 세 가지 이름을 엔지니어가 스택 트레이스를 읽듯이 곱씹어보자.시스템 설계 문제 — 구조 자체가 잘못되었다.에이전트 간 불일치 — 엣지에서 잘못된 정보가 오가거나, 잘못된 시점에 전달된다.과제 검증 — 아무도 확인하지 않았다. 어디에도 "Researcher 에이전트가 충분히 호기심이 없었다"는 항목은 없으며, 분류 체계의 최상위 항목 중 3분의 1은 검증 단계의 부재다.

[EVIDENCE] 두 번째 근거는 이 단계에서 가장 솔직한 실제 운영 사례다. Anthropic이 2025년 6월 13일에 공개한 멀티에이전트 연구 시스템의 기록에는 다음과 같은 큰 성과가 명시되어 있다: "We found that a multi-agent system with Claude Opus 4 as the lead agent and Claude Sonnet 4 subagents outperformed single-agent Claude Opus 4 by 90.2% on our internal research eval."(번역: 우리는 Claude Opus 4를 리드 에이전트로, Claude Sonnet 4를 서브에이전트로 둔 멀티에이전트 시스템이 단일 에이전트 Claude Opus 4보다 내부 연구 평가에서 90.2% 더 뛰어난 성과를 냈음을 발견했다.) 실제 시스템에서 나온 수치이며, 문장 자체에 범위가 명확히 적혀 있다: 하나의 내부 평가, 하나의 리드-서브에이전트 조합, 하나의 모델 계열.

그리고 같은 글에서, 거의 아무도 인용하지 않는 비용이 공개된다:

"In our data, agents typically use about 4× more tokens than chat interactions, and multi-agent systems use about 15× more tokens than chats."(번역: 우리의 데이터에서, 에이전트는 일반 채팅보다 약 4배 더 많은 토큰을 사용하며, 멀티에이전트 시스템은 채팅보다 약 15배 더 많은 토큰을 사용한다.)
— Anthropic, 2025-06-13

[DERIVATION] 15배라는 수치는 반올림 오차가 아니라, 두 번째 직원을 고용하는 셈이다. 두 문장을 나란히 놓고 보면, 이 단계가 실제로 묻는 질문이 드러난다 — 멀티에이전트가 더 나은가가 아니라 이 작업이 채팅 15번의 값을 하는가. 출연진 목록은 결코 이런 계산을 하게 만들지 않는다. 하지만 엣지 리스트는 다르다. 왜냐하면 모든 엣지는 곧 메시지이고, 모든 메시지는 토큰이기 때문이다.

[EVIDENCE] 세 번째 이유는 반례다. 이 에피소드가 각주로 넘길 수 없을 만큼 강력하다. Li 등이 발표한 More Agents Is All You Need (arXiv:2402.05120)는 여러 답변을 샘플링해 다수결 투표를 하면 에이전트 수가 늘어날수록 성능이 향상된다는 사실을 보여준다. 여기에는 조율도, 역할도, 엣지도 전혀 없다. 만약 이 효과가 전부라면, 이 단계에서 사람들이 만드는 대부분의 시스템은 사실상 for 루프와 카운터만으로도 얻을 수 있는 결과를 위해 복잡한 장치를 쌓는 셈이다.

2026년 후속 연구는 이 논점을 정확히 정리한다. Ann, Liu, Tan의 The Interaction Tax (arXiv:2608.23541, 2026-08-24)는 동일한 예산 하에 11개의 검증자 채점 최적화 과제를 실험했고, 에이전트 간 대화가 여러 모델을 도입한 이유 자체를 무너뜨릴 수 있음을 보여준다: "when agents read each other's complete outputs, their proposals converge within one round, erasing the diversity that motivates using multiple models"(번역: 에이전트들이 서로의 완전한 출력을 읽으면, 제안이 한 번 만에 수렴해 여러 모델을 쓰는 동기였던 다양성이 사라진다). 이들의 결론은 이 에피소드의 논지를 정반대에서 다시 쓴 것이다 — "multi-agent performance depends less on the number of agents than on the information they exchange"(번역: 멀티 에이전트의 성능은 에이전트 수보다 그들이 교환하는 정보에 더 좌우된다).

[DERIVATION] 그래서 두 논문을 모두 통과한 규칙은 이렇다. 에이전트를 추가한다고 항상 도움이 되는 것도 아니고, 대화를 추가하면 오히려 해가 될 수도 있다. 진짜 중요한 것은 각 엣지를 언제, 무엇이 건너는지를 설계하고, 그 경로 끝에 독립적인 검증 단계를 두는 것이다. 독립 샘플링과 투표 역시 완전히 정당한 그래프 구조다 — 집계자와 교차 대화 없는 팬아웃 구조. 만약 당신의 문제에 저렴한 검증자가 있다면, 그것이 최적의 그래프일 수도 있다. 이것은 엣지에 관한 결정이지, 누가 크리틱 역할을 맡느냐에 관한 결정이 아니다.

Infographic titled FOUR SCHEDULES, THE SAME FOUR WORKERS — ERROR, COST, AND THE PATHS THAT SKIP THE CHECK. A two-line scope block under the title reads: N = 100 seeded stub runs, seed 20260911, 4 fields, per-worker corruption 0.15, relay corruption 0.05, merge corruption 0.05; verifier recall 0.85, 40 tokens per field per message, a simulator not a model. Four panels, each a small node diagram. Panel 1 STAR, a hub delegates then merges: a hub box fans out to w1 w2 w3 w4 which all converge on a black OUT box. Panel 2 CHAIN, each stage relays the last: w1 then w2 + relay then w3 + relay then w4 + relay stacked vertically down to a black OUT box. Panel 3 DAG + VERIFIER, one check node no way round it, on a grey band with a black left bar: a plan box fans out to w1 w2 w3 w4, all four converge on a black VERIFY box, which connects down to a black OUT box. Panel 4 + ONE BYPASS EDGE, the verifier is still there: the same graph, but a dashed black line runs from w4 to the right, down, and back into OUT, labelled w4 skips the check. Below a rule, three rows of numbers per panel: end-to-end error rate 0.510, 0.580, 0.080, 0.240; tokens per run 480, 400, 640, 640; paths that skip the verifier 1.000, 1.000, 0.000, 0.200. Three notes follow: the four workers, their prompts and their role names are identical in all four columns, only the edges changed; the third row is the only one decided without running anything, it is a property of the graph so CI can own it; panel 4 still contains a verifier, one edge around it costs about 2–3× the error rate of panel 3 at N=100 (2.4× in expectation), and no tokens back. Rendered footer line: Lab 05, cells 3–5 · Paul Jialiang Wu · futuremake.io.
실험실 구조를 한눈에 보면 이렇다. 동일한 네 명의 작업자, 동일한 역할 이름, 네 가지 다른 일정. 세 번째 행은 아무도 보고하지 않는 케이스이자, 시스템을 실제로 실행하지 않고도 계산할 수 있는 유일한 행이다.

1:1 기술적 대응표

은유의 모든 요소는 코드에서 직접 가리킬 수 있는 무언가에 정확히 대응한다.

공급망시스템존재하는 곳
물류센터, 주방, 실험실노드 — 하나의 작업 단위함수, 에이전트, 도구 호출
시간표상의 경로방향이 있는 엣지 — 누가 누구에게 작업을 넘길 수 있는지엣지 리스트의 한 항목
시간표 전체스케줄 — 그래프 전체 구조edges: list[tuple[str, str]]
트럭에 실린 화물메시지 페이로드와 공유 상태엣지를 따라 전달되는 타입이 명확한 상태 객체
선반에 오르기 전의 검사 단계검증자 노드병합된 상태에 대한 결정적 검사
"no pallet reaches a shelf uninspected" (번역: 어떤 팔레트도 검사를 거치지 않고 선반에 오르지 않는다)도달 가능성 불변 조건unverified_path_share == 0.000
일요일에 물류센터가 선택하는 우회 경로바이패스 엣지엣지 리스트에 추가된 한 쌍의 튜플
운송장에 적힌 운전사의 직함페르소나 문자열어떤 전이도 참조하지 않는 프롬프트 필드
배송 한 번당 소모되는 연료토큰 승수메시지 수 × 페이로드 크기
이전 물류센터를 반복하는 물류센터순응 — 다양성 붕괴전체 출력 엣지에서 발생하는 상호작용 비용

[정의] 이 에피소드 전체에서 반복적으로 사용하는 세 가지 핵심 지표를 한 번만 정의한다:

세 번째 지표가 이 글의 기여다. 앞의 두 개는 샘플링 기반이라 모델, 온도, 운에 따라 달라지지만, 세 번째는 결정적으로 산출된다. 그래서 이 값만이 CI에 들어가고, 나머지 둘은 대시보드로 간다.

예측 게이트

스크롤하기 전에 스스로 예측을 남겨라 — 기록하지 않은 예측은 나중에 맞았다고 착각하게 된다.

네 명의 전문 작업자가 네 필드 중 각자 하나씩 담당한다. 모든 파라미터는 예측 전에 명확히 밝힌다: 작업자별 오류율 0.15 · 릴레이 오류율 0.05 · 병합 오류율 0.05 · 검증자 리콜 0.85 · 메시지당 필드별 40토큰. 세 가지 연결 구조: 스타(허브가 위임하고 병합하며, 병합 과정에서 한 필드를 망칠 수 있음), 체인(각 단계가 자신의 필드를 쓰고, 이전 단계의 모든 값을 릴레이), 그리고 네 작업자가 모두 출력 전에 하나의 검증자를 거치는 DAG.

Q1. 이 세 가지를 종단 간 오류율 기준으로, 가장 나쁜 것부터 순서대로 나열하라. 그리고 최고와 최악 사이의 격차가 얼마나 될지 예측하라.

Q2. 같은 세 가지를 실행당 토큰 수 기준으로, 가장 많은 것부터 순서대로 나열하라.

Q3. 이제 DAG에서 검증자는 그대로 두고, 네 번째 작업자에서 출력으로 바로 가는 엣지를 하나 추가하라 — 누군가 지연을 줄이려고 추가하는 지름길이다. 이제 네 필드 중 하나가 검증을 건너뛴다. 종단 간 오류율은 대략 두 배가 되는가, 아니면 더 심각한가?

정답은 노트북과 Failure Room에 있다. Q1에서 체인을 중간에 뒀다면, 직접 실험실을 돌려보라.

Failure Room

일부러 깨뜨려라 — 깨지지 않는 메커니즘은 그 자체로 주장일 뿐이다.

실패 1 — 출연진이 곧 설계라고 착각하는 경우. 에이전트 다섯 명에게 직함을 붙이고, 그걸로 아키텍처가 완성됐다고 여긴다. 하지만 실제 실행에서는 어느 전이도 직함을 읽지 않는다. 라우터는 그래프를, 집계기는 상태를, 체크는 필드를 읽는다. 내가 직접 발표한 전문가 패널 연구에서도 심리학적으로 측정해봤다 — 페르소나 라벨은 162개 역할, 2,410개 질문에서 사실 정확도를 높이지 못했고, 효과가 있었던 것은 에이전트를 설명이 아니라 한 사람의 코퍼스에 연결하는 방식이었다. 코퍼스는 데이터다. 코스튬은 문자열일 뿐이다.One Opinion Wearing Ten Hats에 모든 내용이 담겨 있다.

실패 2 — 명목상 존재하는 검증자. 이 사례가 바로 이 글의 값을 증명한다. 실험에서는 검증자 노드가 포함된 DAG와, 동일한 DAG에 바이패스 엣지 하나만 추가한 구조 모두가 "체크 단계가 있습니까?"라는 검토를 무난히 통과한다. 하지만 바이패스가 추가된 구조는0.240 종단 간 오류율에서0.080 — N=100 기준 약 2~3배, 기대값으로 2.4배 더 나쁘다 — 토큰 수는 정확히 640개로 동일하다. 체크는 여전히 나머지 세 필드에 대해 실행되기 때문이다. 검증 비용은 지불했지만, 한 경로에서는 검증을 건너뛴 셈이다. 정적 수치는 이 문제를 마이크로초 만에 잡아낸다: unverified path share 0.000 → 0.200. 샘플링 기반 수치 역시 결국 N=100에서 이 문제를 포착한다.

실패 3 — 보기만 그럴듯한 체인 구조. 실험실에서 가장 저렴한 토폴로지(토큰 400개, 스타는 480개, DAG는 640개)가 동시에 최악의 성능(0.580)을 보인다. 첫 번째 필드는 0.15 확률로 한 번 쓰이고, 이후 0.05 확률로 세 번 릴레이되므로 네 번이나 오류가 날 수 있다. 반면 마지막 필드는 한 번만 오류가 날 기회를 갖는다. 오류 전파는 워커의 능력이 아니라, 토폴로지가 값을 몇 번이나 다시 다루게 하느냐에 달려 있다.

실패 4 — 합의로 포장된 획일성. 에이전트들이 더 많이 대화하게 만들면 이견이 사라진다. 진전처럼 느껴지지만, 실제로는 정반대다. 에이전트들이 서로의 완전한 출력을 읽으면 제안이 한 라운드 만에 수렴해버린다. 내 디너파티 프로젝트에서 페르소나만 있는 채팅 방식은 224개의 상호 충돌 중 50개만 잡아냈고, 놓친 것들은 결코 어려운 문제가 아니었다. 세 명의 전문가가 호두가 들어간 디저트에 만장일치로 동의했다. 합의는 완벽했다. 알레르기도 그랬다.

실패 5 — 0.000이지만 무의미한 지표. 검증자가True을 반환하게 해서 unverified path share를 0.000으로 만든다. Episode 1의 결정성 지표가 빈 객체에서 1.000을 읽는 것과 같은 꼴이다. 도달 가능성 불변성은 반드시 결과 지표와 함께 보고되어야 하며, 단독으로는 무의미하다. 게이트는 체크가경로상에 있음만을 증명할 뿐이다. 그 체크가 실제로 쓸모가 있는지는 아무 말도 하지 않는다 — 바로 이것이 Episode 6의 주제다.

Q3에 대한 답: 이번 실험에서는 대략 세 배로 증가한다(0.080 → 0.240); 실험실의 파라미터로 기대값은 0.206, 약 2.4배다. 어느 쪽이든, 핵심은 메커니즘이다. 바이패스된 필드의 오염은 이제 0.15의 확률이 아니라 확실히 살아남는다. 네 경로 중 한 경로에서 우회하는 게이트는 결코 75%짜리 게이트가 아니다.

노트북

Lab 05 — 스케줄, 페르소나가 아니다. Open In Colab

05_graph_schedule.ipynb · Colab 무료 등급 · API 키 필요 없음 · CPU 몇 초면 충분하다 · 모든 셀은 출판 전에 실행되었으며, 아래 숫자는 실제 실행 결과다.

여덟 개 셀. Graph 오브젝트는 노드, 엣지, 출력 노드, 그리고 선택적으로 검증자를 담고 있다. 네 가지 토폴로지는 이 외에는 아무 차이가 없다.

parameters: per-worker corruption 0.15 · relay corruption 0.05 · merge corruption 0.05
            verifier recall 0.85 · 40 tokens per field per message · 4 fields

topology                            err    msgs   tokens  paths  unverified
star (hub + 4 workers)            0.510     9.0      480      4       1.000
chain (4 stages)                  0.580     4.0      400      1       1.000
DAG + verifier                    0.080    10.0      640      4       0.000
DAG + verifier, 1 bypass edge     0.240    10.0      640      5       0.200

  orphaned output   -> RAISES: no path reaches 'OUT' — the graph is
                       disconnected, not verified

[EVIDENCE] 세 가지 발견을, 놀라운 순서대로 적는다.

가장 저렴한 구조가 가장 성능이 나쁘다. 나는 체인이 스타와 DAG의 중간쯤일 거라 예상했지만, 실제로는 메시지 수가 더 적음에도 둘보다 더 나빴다.

바이패스 엣지는 비용이 들지 않으면서 시스템 전체를 망가뜨린다. 토큰 수는 동일한데, N=100에서 오류율은 약 2~3배로 뛴다. 이 지름길은 효율성 측면에서 내세울 것이 전혀 없다 — 메시지 하나조차 절약하지 못한다 — 그래서 현실에서 흔히 벌어지는 상황을 아주 깔끔하게 모델링한다. 실제로는 약간의 지연만 줄이고, 정확성은 크게 떨어뜨리지만, 그 둘을 제대로 측정하는 사람은 없다.

게이트는 재미없다. 바로 그 점이 핵심이다. 셀 5는 네 개 그래프 모두에 대해 도달 가능성 검사를 실행하고, CI에서 쓸 종료 코드를 출력한다: 마이크로초 단위, 호출 없음, 완전한 결정성. 네 개 중 두 개는 단 한 번의 실행도 없이 실패하고 — 다섯 번째 그래프처럼 출력에 아무도 도달하지 못하는 경우에는, 검사가 0.000이라는 그럴듯한 점수를 내는 대신 예외를 발생시킨다.

셀 6의 스윕은 반드시 가져가야 할 셀이다. 이 셀은 바이패스된 그래프가, 게이트가 적용된 구조가 아니라 검증 없는 팔로우를 따라가는 모습을, 문제 난이도가 올라갈수록 보여준다.

작업자별 오류 주입률스타체인DAG + 검증자+ 바이패스 엣지
0.050.2200.4100.0300.070
0.100.3700.4800.0800.180
0.150.5100.5800.0800.240
0.200.5800.6300.1500.280
0.300.7600.8000.1600.460

게이트가 적용된 열은 거의 평평하게 유지되지만, 나머지 모든 열은 점점 상승한다 — 이것이 임시방편이 아닌 구조적 해결의 신호다. 대부분이 한 가지 노이즈 레벨에서만 측정하기 때문에, 이 차이는 잘 드러나지 않는다.

[DESIGN] 셀 7은 직설적이다.run_dag 는 personas 인자를 받는다. 나는 Senior Chef, Michelin Inspector, Nutritionist, Logistics Lead라는 직함을 네 명의 작업자에게 각각 할당했고, 이 값들은 상태에 실려 전달된다 — 셀에서 전달된 dict를 출력하니 실제로 값이 들어갔는지 확인할 수 있다. 오류율은 정확히 0.000만큼, 토큰 수는 정확히 0만큼 변했다. 그 이유는 변명 때문이 아니라 바로 이 발견 때문이다:해당 함수의 어느 줄도 역할에 따라 분기하지 않는다. 동작이 그래프로 결정되는 시스템에서는, 코스튬(페르소나)이 개입할 틈이 없다. 이것은 언어 모델의 성능 측정이 아니라, 인과의 방향이 어디에 놓일 수 있는지 보여주는 실험이다. 직함은 여전히 조직도에만 남아 있을 뿐이다.

[DESIGN] 왜 스텁인가. 시뮬레이터는 오류가 토폴로지 어디서 들어오고 무엇이 그것을 제거하는지, 몇 초 만에, 무료로, 키 없이 재현한다. 하지만 그 크기 자체는 재현하지 않는다. 수치의 크기를 재현하지는 않는다. 여기서 출력되는 어떤 값도 Anthropic의 90.2%나 MAST의 결과에 대한 근거가 아니다. 셀 8은 다리 역할을 한다 — 동전 던지기를 실제 모델 호출로 바꿔도 Graph, 게이트와 세 가지 지표는 변하지 않는다. 설계상 모델에 의존하지 않기 때문이다.

프로젝트

완전히 처음부터 만든 두 가지 빌드다. 프레임워크 없이 표준 라이브러리만 사용했고, 모두 시드값을 고정해 이 섹션을 쓰기 전에 실행을 마쳤다. 노트북의 gist에도 그대로 들어 있다.

프로젝트 1 — 실제 사례:the-dinner-party

p1_dinner_party.py · python3 p1_dinner_party.py 100

여섯 명이 모인 저녁 식사. 한 명은 비건, 한 명은 견과류 알레르기가 있고, 예산은 80달러, 오븐 랙은 하나, 모두 19시에 착석한다. 세 명의 전문화된 스텁이 각각 계획의 한 부분을 작성한다 — agent_menu 요리를 고르고,agent_shopping 장바구니 가격을 계산하고,agent_timing 오븐 슬롯을 배정한다. 누구도 다른 이의 출력을 보지 않는다. 각자는 개별적으로 정확하고 자신감도 있지만, 실패는 그들 사이에 숨어 있다. 이 실패를 잡아내는 다섯 규칙 각각은 두 전문가의 사실이 필요하다. 그래서 어떤 전문가도 이 규칙을 책임질 수 없는 구조적 이유가 된다:

allergen  needs  menu + the guest list      a dish contains nuts
diet      needs  menu + the guest list      the main is not vegan and one guest is
budget    needs  menu + shopping            the basket cleared $80
oven      needs  menu + timing              two dishes want the single rack at once
timing    needs  menu + timing              a dish finishes after people sit down

[EVIDENCE] 두 가지 방식, 같은 전문가, 같은 시드값. A안은 페르소나만 있는 채팅: 차례로 말하고, 다음 차례가 이의를 제기할 수 있다. B안은 검증자 노드가 포함된 하나의 일정: 세 명 모두 공유 상태에 기록하고, 하나의 체크 노드가 다섯 규칙을 실행한다.

conflicts present            : 224
caught by persona-only chat  : 50    (0.223 recall)
caught by schedule+verifier  : 224   (1.000 recall — by construction, see below)

dinners served with an unresolved conflict
  persona-only chat          : 85/100  (0.850)
  schedule + verifier        : 0/100   (0.000)

by rule: allergen 83 · oven 74 · timing 36 · diet 22 · budget 9

[OPEN] 여기서 증명하지 않는 점: 채팅 방식의 '발견 확률'은 내가 0.30에 감쇠를 곱해 임의로 정한 값으로, 세 문단의 자신감에 동의하는 경향을 대변한다. 어떤 모델의 실제 측정값이 아니며, 0.223이라는 수치도 그 다이얼만큼만 실제다. 구조적으로 중요한 점은, 두 전문가의 사실이 필요한 규칙은 그래프가 소유자를 지정해주기 전까지는 아무도 책임지지 않는다는 것이다. 누구의 직무 기술서에도 '내 출력과 타인의 출력 간 상호작용'이란 항목은 없다. 그리고 일정 방식의 1.000은 설계상 1.000이다: 검증자 노드는 충돌을 정의하는 다섯 규칙을 그대로 실행하므로, 하나도 놓칠 수 없다. 이 측정치는 채팅 방식의 손실을 의미할 뿐, 검증자의 실력을 재는 것이 아니다 — Failure 5에서 경고한 바로 그 무의미한 지표 형태이며, 여기서 공개하는 이유는 내 실험이기 때문이다.

프로젝트 2 — 엔터프라이즈:the-incident-room

p2_incident_room.py · make gate · make bypass · make measure

인시던트 대응 그래프:

page → triage → diagnose → mitigate ─┐
                └────────→ rollback ─┼→ check → resolve
       triage → comms ───────────────┘

불변식, 한 문장으로 요약하면 이렇다:어떤 노드에서 resolve로 가는 경로도 check를 건너뛸 수 없다. 이것은 실행의 속성이 아니라 그래프의 속성으로, 단순 경로를 모두 열거해 결정한다. 모델 호출도, 샘플링도, 불안정성도 없다. 내가 직접 연구용 하니스에서 돌리는 모듈 도달성 규칙과 같은 형태다 — 미공개이니 관행으로만 받아들이고 인용은 하지 말라.

$ make gate
  paths to 'resolve'        : 3
  paths that skip 'check'   : 0   (share 0.000)
  invariant: every path to 'resolve' crosses 'check' -> HOLDS     exit 0

$ make bypass          # after adding ("rollback", "resolve")
  paths to 'resolve'        : 4
  paths that skip 'check'   : 1   (share 0.250)
    BYPASS: page -> triage -> diagnose -> rollback -> resolve
  invariant: every path to 'resolve' crosses 'check' -> VIOLATED  exit 1

[EVIDENCE] 게이트는 "어딘가 잘못됐다"고 말하는 대신 구체적인 경로를 명시한다. 누군가는 고치는 실패한 빌드와, 누군가는 그냥 비활성화하는 빌드의 차이다. N=100개의 시드 인시던트에서, 체크 노드가 소유한 네 개의 교차 필드 규칙:

                                            gated     + one bypass edge
rule violations raised (all runs)              63                    63
incidents blocked at the check node   52/100 (0.520)        37/100 (0.370)
INCIDENTS RESOLVED WHILE DIRTY         0/100 (0.000)        15/100 (0.150)

첫 번째 행은 위반 건수를, 나머지 두 행은 인시던트 건수를 센다. 한 인시던트가 여러 위반을 일으킬 수 있으므로 열끼리 빼지 않는다. 두 방식 모두 스텁, 프롬프트, 페르소나가 동일하다. 단 한 엣지만 바꿨고, 100건 중 15건이 미해결 위반으로 종료됐다 — 모니터는 녹색이 아니고, 매출 경로 장애에 고객 공지도 없고, 원인 분석도, 롤백도 없다. 이 바이패스 엣지는 실제 온콜 엔지니어가 일요일 새벽 3시에 정말 타당한 이유로 추가한 것이고, 3월에도 여전히 저장소에 남아 있다.

30분 만에 완성 — 실전 계약서

게이트에 필요한 모든 요소를, 엔지니어가 실제로 묻는 순서대로 정리했다.

INPUTS   edges: list[tuple[str, str]]     # the whole schedule, as data
         output:   str                    # the node that ends the run
         verifier: str                    # the node every path must cross

OUTPUT   unverified_path_share: float in [0, 1]
         offending_paths: list[list[str]]  # named, not counted

INVARIANT   unverified_path_share == 0.000

STOP RULE   the gate never retries and never repairs.
            It refuses, and prints the path. Repair is a human's job.

def unverified_share(edges, output, verifier):
    paths = simple_paths_to(edges, output)       # every source → output
    if not paths:                                # a graph nothing reaches is not verified
        raise ValueError(f"no path reaches {output!r} — the graph is disconnected, not verified")
    return sum(1 for p in paths if verifier not in p) / len(paths)

# CI gate (make gate)
#   unverified_path_share == 0.000   → exit 0
#   anything above                   → exit 1, printing each bypass path

의도적으로 빠진 항목— 누락 자체가 곧 설계의 일부이기 때문이다. 예를 들어, 사이클(워커가 노드를 다시 방문하지 않으므로, 재시도 루프를 넣으려면 '경로'의 정의부터 명확히 해야 게이트를 걸 수 있다), 실행 중에 스스로 연결 구조를 바꾸는 에이전트가 추가하는 엣지(실행 중에 바뀌는 일정은 또 다른 불변식이 필요하다), 검증자가 제대로 동작하는지에 대한 어떤 판단도 포함하지 않는다, 어떤 경로에서도 도달하지 못하는 출력(게이트는 단절된 그래프에서는 0.000을 반환하는 대신 예외를 발생시킨다. 단순히 0을 주면 깨진 그래프에 초록불이 들어갈 수 있기 때문이다), 그리고 실제 모델 호출은 아예 없다 — 스텁을 실제 호출로 바꿔도 게이트는 변하지 않는다. 게이트는 실행 결과 자체를 읽지 않기 때문이다.

[DESIGN]이 빌드가 단순 데모가 아니라 엔터프라이즈급임을 보여주는 네 가지 속성이 있다. 각각의 이유가 분명하다.

[OPEN]두 프로젝트 모두 증명하지 못하는 점: 워커 집합은 스텁이고, 골든 세트도 합성 데이터다. 엔터프라이즈 빌드의 솔직한 상태는실행 가능하며 게이트가 적용되어 있음이지,배포되어 실제로 측정된 상태는 아니다. 이걸 진짜로 만들려면, 실제 사용하는 프레임워크에서 프로덕션 오케스트레이션 그래프를 내보내고, 그 위에 동일한 게이트를 돌려 첫날부터 바이패스 개수를 리포트해야 한다 — 그리고 내 사전 등록 예측은, 대부분의 프로덕션 그래프에 최소 하나는 바이패스가 있고, 아무도 그 사실을 모른다는 것이다.

같은 이야기, 다섯 가지 출구

하나의 중심축에서 각 독자를 위한 문이 열린다. 한 가지 결정을 내리고, 한 가지 행동을 하라.

당신이이 에피소드가 바꾸는 결정이번 주에 바로 실천할 수 있는 한 가지
고등학생 빌더"멀티에이전트"란 출연진 명단이 아니라 연결 구조도다. 설계의 본질은 엣지(연결선)에 있다.Colab 실험실을 실행하고(키 불필요, 몇 초면 끝난다), 자신의 프로젝트를 박스와 화살표로 그려보라. 검증을 거치지 않고 답에 도달하는 모든 화살표에 동그라미를 쳐라.
AI 엔지니어도달 가능성 불변성은 빌드가 직접 소유할 수 있는 정적 검사다. 반면, 오류율은 그렇지 않다.오케스트레이션 그래프를 엣지 리스트로 내보내고, 12줄짜리 게이트를 실행하라. 우회 경로 개수를 보고하라. 민망해도 숨기지 말 것.
창업자멀티에이전트는 채팅 15번 분량의 비용이 든다. 진짜 질문은 '이 작업이 채팅 15번의 값어치를 하느냐'이지, 아키텍처가 최신이냐가 아니다.시스템의 태스크당 토큰 소모량과 성공률을 나란히 요구하라. 둘 중 하나만 있으면 그건 결과가 아니다.
임원"우리에겐 검토 단계가 있습니까?"는 잘못된 질문이다. "어떤 경로라도 검토 없이 결과에 도달할 수 있습니까?"가 올바른 질문이다.다음 아키텍처 리뷰에 "unverified path share(검증 누락 경로 비율)"를 추가하고, 다이어그램 대신 실패하는 빌드를 보여달라고 하라.
투자자페르소나 출연진 명단은 진입장벽이 아니다. CI에 게이트가 적용된 측정된 스케줄이라면 진짜 장벽이 될 수 있다.어떤 에이전트 스타트업이든 엣지 리스트와 게이트를 보여달라고 하라. 답이 에이전트 조직도라면, 그게 바로 답이다.

현실 미션

이미 운영 중인 시스템으로 15분 만에 끝낸다.

  1. 모델 호출이 두 번 이상 들어가는 시스템 하나를 골라, 엣지 리스트(노드 이름 쌍만)로 써보라. 못 쓰겠다면, 그게 바로 발견이다: 그래프는 이미 존재하지만, 적혀 있지 않을 뿐이다.
  2. 아웃풋 노드와 검증 노드의 이름을 지정하라. 검증 노드가 없다면, 멈추고 하나 만들어라. 아래 단계는 모두 '도달 가능성'에 관한 것이지, 검증의 품질에 관한 것이 아니다.
  3. 모든 소스에서 아웃풋까지의 단순 경로를 열거하고, 검증 노드를 거치지 않는 경로가 몇 개인지 세라. 그게 바로 unverified path share(검증 누락 경로 비율)이다.
  4. 각 우회 경로마다 누가, 왜 추가했는지 찾아보라. 항상 이유가 있고, 그 이유는 늘 타당하다. 그래서 또 반복된다.
  5. 검증을 CI에 임계값 0으로 적용하라. 그다음, 일부러 우회 엣지를 추가하고 빌드가 실패(빨간불)하는지 확인하라. 한 번도 실패한 적 없는 게이트는, 없는 것과 다를 바 없다.

1단계에서 노드가 딱 하나만 나온다면, 당신은 아직 이 단계에 있지 않으며 그럴 필요도 없다. 4화로 돌아가 먼저 그 루프를 측정 가능하게 만들어라. 제대로 측정된 루프는 언제나 장식용 그래프를 이긴다. 이번 에피소드의 논점은, 당신이 실제로 둘 중 무엇을 만들었는지에 있다.

연구 과제

이 과제를 에이전트에게 넘기고, 예측을 미리 기록해 두라.

검증 가능한 출력을 가진 하나의 작업과 네 명의 전문 작업자를 준비한다. 작업자, 프롬프트, 역할 이름은 그대로 두고, 바꿀 것은오직 연결 구조(토폴로지)뿐이다. 스타, 체인, 독립 샘플링+다수결, 그리고 모든 경로가 검증자를 반드시 거치는 DAG로 각각 실험한다. 각 구조마다 종단 간 오류율, 실행당 토큰 수, unverified path share를 작업자 노이즈 3단계에서 측정한다. 그 다음, 검증 게이트가 있는 DAG에 바이패스 엣지를 하나 추가하고 세 지표를 다시 측정한다.

사전 등록: 투표 기반 독립 샘플링이 검증자가 저렴할 때 검증된 DAG보다 나은지, 그리고 네 가지 구조의 순서가 노이즈 레벨에 따라 안정적으로 유지되는지 혹은 역전되는지를 미리 예측해 두라.

내 예측(실험 전에 기록): sampling-and-vote는 비용 면에서는 이기고, 불변성에서는 진다. 다수결이 옳을 때만 투표가 검증자 역할을 하기 때문이다. 언젠가 값싼 비검증 구조가 비싼 검증 구조를 꼬리값을 무시하는 어떤 지표에서는 이기는 교차점이 반드시 있다. 실제 작업에서 그 교차점을 찾는다면, 이 에피소드와 출판 가능한 불일치가 생기는 것이지, 당신의 실험이 잘못된 게 아니다.

최근 변화

이 단계의 최신 상태는 30개 선구적 소스의 실시간 주간 피드 동기화에서 가져왔다.research-anything (make watch-sync항상 기술적 신호 기준으로만 순위를 매겼고, 대중적 인기로는 정렬하지 않았다. 모든 항목은 동기화 날짜에 arXiv 초록 페이지로 직접 읽었다.

동기화 날짜: 2026-09-11.

[OPEN] 무엇이 아직 변하지 않은 점: 나는 에이전트 그래프에서 도달 가능성 기반의 구조적 불변식을 실제로 CI 게이트로 적용해 출하한 사례를 찾지 못했다. 2026년 논문들은 엣지를 최적화하고, 설명하며, 가지치기한다. 프레임워크들은 엣지를 그릴 수 있게 해준다. 하지만 "검증자를 거치지 않고 출력에 도달하는 경로가 있다"는 이유로 빌드가 실패하는 사례는 아무도 보고하지 않는다. 만약 그런 게이트가 다른 이름으로 존재한다면, 나는 아직 찾지 못했다 — 피상적으로 검색한 결과로 새로움을 주장하느니, 이렇게 밝히는 편이 낫다.

마지막 점검

아래로 스크롤하지 말고 스스로 점검하라.

  1. Feng 등이 단일 에이전트의 조직적 역량을 초과한다고 밝힌 다섯 가지는 무엇인가? 그중 성격적 특성은 몇 개인가?
  2. MAST는 14가지 실패 모드를 세 가지 범주로 묶는다. 이 범주들을 쓰고, 출연진 명단(캐스팅)만으로는 결코 해결할 수 없는 범주는 무엇인지 말하라.
  3. Anthropic은 90.2%의 성과와 토큰 배수 효과를 모두 보고했다. 이 배수 효과란 무엇이며, 단순한 성과 수치만으로는 강제되지 않는 어떤 결정을 요구하는가?
  4. 실험실의 세 가지 지표 중 왜 unverified path share만이 CI에 포함될 수 있는 유일한 것인가?
  5. 한 시스템에 검증자 노드가 있음에도 게이트된 버전이 0.080일 때 0.240을 기록한다. 이 결함은 무엇이며, 샘플링 기반과 정적 지표 중 어느 쪽이 더 빨리 이를 찾아내는가?
  6. 이 전체 단계(런)가 불필요하다는 가장 강력한 논거와, 이를 날카롭게 다듬은 2026년 논문을 제시하라.

결정적 순간

이제 당신이 일정을 그린다.

모든 노드에 이름을 붙이고, 모든 엣지는 의도적으로 설계하며, 출력으로 가는 모든 경로가 반드시 체크를 통과하게 한다. 게이트는 CI에서 0으로 고정되어 있다. 누군가 일요일 밤의 지름길을 추가하면, 90초 만에 빌드는 빨간불로 바뀌고, 그 경로를 명시한다. 호두 타르트는 결코 식탁에 오르지 않는다.

그리고 어느 주에는 체크 노드가 결코 출하되어서는 안 될 무언가를 승인한다.

우회된 것이 아니라, 실제로 실행되어 병합된 상태를 읽고, 자신이 가진 모든 규칙을 적용한 뒤, 승인했기 때문이다.

당신은 규칙들을 들여다본다. 모두 여전히 그 자리에 있다. 모두 여전히 통과한다. 그리고 이 사다리의 모든 것 — 명세, 식재료 저장실, 봉투, 루프, 일정 — 이 '옳음'의 기준을 아무도 측정해본 적 없는 한 곳에서 빌려오고 있었음을 깨닫는다. 더 나쁜 것은: 당신이 그 기준에 맞춰 측정하는 순간, 상류의 모든 단계가 그 기준에 맞춰 최적화되기 시작한다는 점이다. 당신이 지시하지 않은 부분까지도.

에피소드 6 — 리콜 로그. 평가 엔지니어링: 다른 모든 계층이 빌려 쓰는 진리 함수, 시스템의 진짜 성숙도가 '무엇이 잘못 돌아왔는가'로부터 어떻게 배우는지, 그리고 평가란 곧 목표치이며 — 그 목표치는 바로 그 시스템이 달성하도록 설계된 방식으로 얼마든지 조작될 수 있다는 불편한 사실.

다음 읽기

에피소드 5 — 인텔리전스 엔지니어링 어드벤처, 시즌 7 — 주방 사다리. 모든 주장은 정의, 도출, 증거, 엔지니어링 선택, 오픈 퀘스천 등으로 구분해 태그했다. 비유는 주장을 소개할 수는 있지만, 결코 증거가 되지 않는다. 각 에피소드는 Colab 무료 티어에서 API 키 없이 바로 실행되는 노트북과, 표준 라이브러리만으로 처음부터 만든 두 개의 애플리케이션(개인용, 엔터프라이즈형)을 함께 제공한다. 처음 다섯 단계는 Feng 외 논문(arXiv:2608.21156)에서 가져온 것이고, 여섯 번째인 평가 엔지니어링은 이 시리즈만의 주장으로, 에피소드 6에서 논증한다. "What moved"는 30개 선구적 소스를 매주 라이브로 동기화해 기술적 신호만으로 순위를 매긴다(청중 규모는 고려하지 않는다). 이 글에는 어떤 고용주나 클라이언트의 자료도 포함되어 있지 않다. — Paul Jialiang Wu · futuremake.io

참고문헌

  1. Feng, Y., Xiang, Z., Yang, C., Ma, Q. 외 (2026). LLM 에이전트 시대의 그래프 엔지니어링: 개별 지능에서 시스템 지능으로. arXiv:2608.21156, v1 2026-08-21, v2 개정 2026-08-26. — 아티팩트 판독: arXiv 초록 페이지, 2026-09-11."사다리는 내 것이 아니다"에 인용된 네 문장의 출처.
  2. Cemri, M., Pan, M. Z., Yang, S., Agrawal, L. A. 외 (2025). 왜 멀티 에이전트 LLM 시스템은 실패하는가? arXiv:2503.13657, v1 2025-03-17, v3 개정 2025-10-26. — 아티팩트 판독: 2026-09-11 기준 arXiv 초록 페이지(v3). MAST 인용문, 7개 프레임워크에서 수집된 1600개 이상의 주석 달린 트레이스, 그리고 kappa = 0.88의 출처이다. 인용된 모든 수치는 초록에서 가져온 것이며, 논문의 범주별 비율은 PDF에만 있고 본문에서는 따로 인용하지 않았다.
  3. Anthropic (2025-06-13). How we built our multi-agent research system. anthropic.com/engineering. — 아티팩트 열람: 해당 게시글, 2026-09-11. 90.2% 성과 문장과 4× / 15× 토큰 배수 문장의 출처이며, 둘 다 원문 그대로 인용되었다.
  4. 2023년 역사 표의 주요 사건들은 모두 2026-09-11에 arXiv 초록 페이지로 직접 확인했고, 별도 언급이 없는 한 인용 없이 서술하였다: Li, G. 외, CAMEL (arXiv:2303.17760, v1 2023-03-31); Qian, C. 외, ChatDev (arXiv:2307.07924, v1 2023-07-16); Hong, S. 외, MetaGPT (arXiv:2308.00352, v1 2023-08-01 — "verify intermediate results and reduce errors" 인용문의 출처); Wu, Q. 외, AutoGen (arXiv:2308.08155, v1 2023-08-16).
  5. Li, J., Zhang, Q., Yu, Y., Fu, Q., Ye, D. (2024). More Agents Is All You Need. arXiv:2402.05120, v1 2024-02-03. — 반례: 샘플링과 투표는 에이전트 수가 늘어날수록 성능이 확장되며, 엣지가 필요 없다.
  6. Ann, S. E., Liu, H., Tan, C. (2026). The Interaction Tax: When Communication Erases Diversity in Multi-Agent Teams. arXiv:2608.23541, 2026-08-24. — 다양성 붕괴와 성능이 무엇에 좌우되는지에 관한 두 인용문의 출처.
  7. Tieu, K., Fu, D., Xia, Y., Li, H., Yan, H., He, J. (2026). Inference-Time Graph Engineering for Multi-Agent LLM Workflows. arXiv:2609.05774, 2026-09-04. — "when, why, and how information should flow during reasoning"(번역: 추론 과정에서 정보가 언제, 왜, 어떻게 흘러야 하는지를 실행 가능한 워크플로 그래프로 설계하는 것의 중요성)에 관한 인용문의 출처(“What moved” 절).
  8. Li, J., He, P., Ji, Q., Wang, W., Liu, L., Sun, C. (2026). Discovering Efficient and Explainable Communication Topologies for LLM-based Multi-Agent Systems via Causal Inference. arXiv:2608.12921, v1 2026-08-13, v2 2026-08-14이 참고한 버전임. — 엣지 단위의 인과 귀속 및 가지치기; 직접 인용 없음.
  9. 도구와 프로토콜, 2026-09-11에 확인: LangChain의 LangGraph (github.com/langchain-ai/langgraph), 그래프를 1급 객체로 다루는 사례; Google의 Announcing the Agent2Agent Protocol (A2A), 2025-04-09 (developers.googleblog.com, 명세는 a2a-protocol.org).
  10. 시리즈의 다른 단계에 해당하는 주요 논문: Anthropic, Building Effective AI Agents, 2024-12-19 (anthropic.com/engineering); Dhage, S., Harness Engineering for Predictable Agentic Systems (arXiv:2608.26197, 2026-08-25), 에피소드 1의 핵심 측정값.
  11. Wu, P. J. One Opinion Wearing Ten Hats. futuremake.io, 2026-08-06. — 내가 직접 수행한 페르소나 패널 실험: 162개 역할, 2,410개 질문에서 페르소나를 부여해도 정확도 향상은 없었고, 데이터(코퍼스) 기반만 효과가 있었으며, 컨포미티 게이트도 함께 측정했다.
  12. Lab 05와 두 프로젝트 모두 출간 전에 실행 완료: public gist — 노트북, p1_dinner_party.py, p2_incident_room.py, 두 README, Makefile. 이 글의 모든 수치는 이 실행 결과에서 가져왔다.