AI-Native 연재 · 에이전트 엔지니어링 비교: 프롬프트 · 컨텍스트 · 하니스 · 루프 · 그래프
하니스 엔지니어링: 경계선은 에이전트가 아니다
총 6편 중 세 번째. 이 연재는 사람들이 AI 에이전트를 어떻게 엔지니어링하는지—프롬프트, 컨텍스트, 하니스, 루프, 그래프 엔지니어링—각각의 기원, 통제 지점, 주도 세력, 그리고 실제 측정에서 살아남는 원칙까지 비교한다. 이번 편은 에이전트가 말만 하던 단계를 넘어, 실제로 무언가에 손을 대기 시작하는 시점에 해당한다.
1분 요약: 이 글에서 얻어갈 핵심
이 글은 무엇을 다루는가AI 에이전트를 어떻게 엔지니어링할 것인가를 비교하는 연재다. 프롬프트 엔지니어링(에이전트에게 보내는 말), 컨텍스트 엔지니어링(에이전트가 볼 수 있는 정보), 하니스 엔지니어링 (무엇을 할 수 있는지) 루프 엔지니어링(스스로를 어떻게 바로잡는지), 그래프 엔지니어링(여러 에이전트가 어떻게 조율되는지)까지. 이번 편에서는 하니스 엔지니어링을 다룬다. 2022년 ReAct부터 Model Context Protocol, 그리고 그 이후까지의 흐름, 이 분야를 이끄는 주체, 그리고 실제 측정에서 살아남은 원칙을 짚는다.
왜 이 주제가 중요한가? 도구를 쥔 에이전트는 돈을 쓰고, 파일을 지우고, 고객에게 이메일을 보내고, 장부를 바꿀 수 있다. 이 중 무엇을 허용할지 결정하는 것은 오직 하니스—허용 목록, 드라이런, 검증, 재시도 예산, 킬 스위치—뿐이다. 그리고 당신의 대시보드에 찍히는 벤치마크 숫자는, 이 하니스가 실제로 작동하는지 거의 알아채지 못한다. 내 실험에서는, 73건의 금지된 도구 호출을 실행한 설정에서도 pass@8이 1.000을 찍었다.73건의 금지된 도구 호출 (스텁 에이전트, N=100개 작업, 각 작업당 k=8회 시도). 창업자에게는 데모와 실제 운영 사이의 간극이고, 엔지니어에게는 오후 한나절과 CI 한 줄의 차이다.
이 글을 읽고 나서 할 수 있는 일 에이전트의 통제 범위를 명확히 그려보고, pass^k 대신 pass@k을 직접 측정하며, 그 범위를 벗어난 행동이 몇 번 일어났는지 세어보라. 별도 API 키 없이 쓸 수 있는 Colab 노트북과, 바닥부터 만든 두 개의 앱이 제공된다. 하나는 974개의 파일 삭제를 974번의 거부로 바꿔낸 홈 파일 정리기, 다른 하나는 엔벨로프를 제거하면 CI 게이트가 1로 종료되는 재무 조정 데스크다. 그리고 이 과정에서, 세 개의 안전장치 중 하나는 한 번도 실제로 테스트된 적이 없었다는 사실을 실패를 통해 배웠다.
Season 7 — 시리즈 줄기
- 프롬프트 엔지니어링 — 주문이 아니라 명세다 1화
- 컨텍스트 엔지니어링 — 더 큰 윈도우가 아니라 예산 2화
- 하니스 엔지니어링 — 에이전트가 아니라 경계선 이번 화
- 루프 엔지니어링 — 재시도가 아니라 외부 심판 4화
- 그래프 엔지니어링 — 페르소나 출연진이 아닌 일정 5화
- 평가 엔지니어링 — 진리 함수이며, 리더보드는 그 결과일 뿐이다 6화
이번 화에서 다루는 주제와, 하니스 엔지니어링이 왜 세 번째 자리를 차지하는지
이 시리즈는 여섯 가지 엔지니어링 분야를 한 편씩, 각 단계가 실제로 통제할 수 있는 대상의 순서에 따라 다룬다.즉, 각 단계가 어디까지 제어할 수 있는지에 따라 순서가 정해진다.프롬프트, 컨텍스트, 하니스, 루프, 그래프, 그리고 평가 엔지니어링 순이다. 이 중 다섯 가지는 Feng 외 연구진의 서베이(arXiv:2608.21156)에서 공식적으로 언급된다. 마지막 평가 엔지니어링은 이 시리즈에서 새롭게 추가한 주제다. 각 단계마다 네 가지 공통 질문을 던진다. 어디서 비롯됐는가, 정확히 무엇을 다루는가, 누가 이끌고 있는가, 그리고 어떤 실패가 다음 단계로 넘어가게 만드는가.arXiv:2608.21156참고문헌에 인용된 이번 화의 출처를 제외하면, 각 단계별 주요 연도와 근거는 각 에피소드에서 따로 밝힌다.
하니스 엔지니어링은 세 번째 단계에 해당한다. 여기서부터는 판이 완전히 달라진다. 1단계와 2단계에서는 에이전트가 내 의도를 잘못 이해해도 그저 엉뚱한 문장 하나가 나올 뿐이다. 하지만 3단계에선 잘못된행동이 실제로 일어난다. 예를 들어 파일이 삭제되거나, 결제가 중복되거나, 이미 발송된 이메일이 또 나가는 식이다. 이처럼 문장은 언제든 버릴 수 있지만, 행동은 한 번 일어나면 되돌릴 수 없다는 비대칭성에서 모든 논의가 출발한다.
이 글을 읽어야 할 사람중요한 시스템에 에이전트에게 쓰기 권한을 부여하려는 AI 엔지니어, 데모가 잘못됐을 때 어떻게 되는지 묻는 파일럿 고객을 만난 창업자, 어떤 질문을 해야 할지 모른 채 자율 시스템에 서명하는 임원, 그리고 'AI에게 도구를 준다'는 게 왜 엔지니어링의 한 분야인지 궁금한 고등학생 개발자. 단 하나의 전제 조건은, 모델이 함수를 호출하는 장면을 한 번이라도 본 적이 있다는 점뿐이다.
하니스 엔지니어링의 기원과 현재 주도 세력
[정의] A 하니스란, 모델을 둘러싸고 실제로 동작하게 만드는 코드 전체를 뜻한다. 즉, 어떤 도구를 쓸 수 있는지, 어떤 인자를 넘길 수 있는지, 행동이 실제로 실행되기 전과 실패했을 때 무슨 일이 일어나는지, 그리고 전체 시스템이 언제 멈추는지까지 모두 포함한다. 3년 전 1단계의 표준 서베이와, 올해 7월 이 단계의 표준 글을 쓴 Lilian Weng은 다음과 같이 정의한다."A harness is the system surrounding a base model that orchestrates execution and decides how the model thinks and plans, calls tools and acts, perceives and manages context, stores artifacts, and evaluates results."(번역: 하니스란 베이스 모델을 둘러싸고 실행을 조율하며, 모델이 어떻게 사고하고 계획할지, 어떤 도구를 호출하고 행동할지, 컨텍스트를 어떻게 인지하고 관리할지, 산출물을 저장하고 결과를 평가할지 결정하는 시스템이다.)
이번 화의 논점은 저 정의에서 단 한 단어, 바로decides에 있다. 이 단어를 글자 그대로 받아들이면 어떤 결과가 따라오는지 살핀다. 업계가 '모델이 도구를 쓸 수 있는가'에서 '어떤 도구를, 어떤 조건에서, 어떻게 검증하며 쓸 수 있는가'로 발전해온 역사가 바로 그 맥락이다.
| 시기 | 주요 사건 | 주도자 | 무엇이 달라졌는가 |
|---|---|---|---|
| 2022-10 | ReAct: 언어 모델의 추론과 행동을 결합하다 (arXiv:2210.03629) | Yao 외, Princeton 및 Google Research | 추론의 흐름과 행동을 교차로 배치한다."reasoning traces help the model induce, track, and update action plans as well as handle exceptions, while actions allow it to interface with external sources…"(번역: 추론의 흐름은 모델이 행동 계획을 유도하고, 추적하며, 갱신하고, 예외 상황을 처리하도록 돕는다. 반면, 행동은 외부 자원과 상호작용할 수 있게 한다.)이 구조는 오늘날 모든 에이전트 프레임워크의 루프에 남아 있다. |
| 2023-02 | Toolformer (arXiv:2302.04761) | Schick 외, Meta AI | "a model trained to decide which APIs to call, when to call them, what arguments to pass, and how to best incorporate the results into future token prediction"(번역: 어떤 API를 언제 호출하고, 어떤 인자를 넘기며, 그 결과를 이후 토큰 예측에 어떻게 반영할지 스스로 결정하도록 훈련된 모델)이제 도구 사용은 프롬프트 트릭이 아니라, 학습된 능력 그 자체가 된다. |
| 2023-05 | Gorilla (arXiv:2305.15334) | Patil 외, UC Berkeley | 실제 레지스트리 규모의 API 호출을 다루며,카탈로그 문제에 처음으로 본격적으로 접근한다."When combined with a document retriever, Gorilla demonstrates a strong capability to adapt to test-time document changes, enabling flexible user updates or version changes."(번역: 문서 검색기와 결합할 때, Gorilla는 테스트 시점의 문서 변경에 유연하게 적응하는 강력한 능력을 보여주며, 사용자 업데이트나 버전 변경도 자유롭게 할 수 있다.) |
| 2023-06 | API에서의 함수 호출 | OpenAI | 이제 도구 사용은 산문에서 파싱하는 것이 아니라 프로토콜의 타입 필드로 명확히 정의된다. 하니스는 스키마를 갖추게 된다. |
| 2024-05 | SWE-agent: 에이전트-컴퓨터 인터페이스가 자동화된 소프트웨어 엔지니어링을 가능하게 하다 (arXiv:2405.15793) | Yang 외, Princeton | 이 에피소드가 근거하는 결정적 결과는 이렇다. 모델 자체는 그대로 두고, 오직 인터페이스만 바꿨더니 점수가 달라졌다. 이때 붙인 이름이 바로 에이전트-컴퓨터 인터페이스(ACI)다. |
| 2024-06 | τ-bench (arXiv:2406.12045) | Yao 외, Sierra | 에서 처음 제안되었다.pass^k 에이전트를 여덟 번 평가해 모두 통과해야 한다는 기준은, 여덟 번 중 최고 점수만 보는 기존 방식과는 전혀 다른 벤치마크임이 밝혀졌다. |
| 2024-11 | Model Context Protocol | Anthropic | 의 공식 발표에서는 이렇게 설명한다."an open standard that enables developers to build secure, two-way connections between their data sources and AI-powered tools"(번역: 개발자가 자신의 데이터 소스와 AI 기반 도구 사이에 안전한 양방향 연결을 구축할 수 있게 해주는 개방형 표준)이다. 이로써 하니스의 도구 계층이 벤더 간에 이식성을 갖게 되었다. |
| 2024-12 | Building Effective Agents | Anthropic (Erik Schluntz, Barry Zhang) | 이 단계의 실무자 표준서이자 모두가 인용하는 문장은 이렇다. 에이전트-컴퓨터 인터페이스에 인간-컴퓨터 인터페이스만큼 공을 들여라. |
| 2026-07 | Harness Engineering for Self-Improvement | Lilian Weng | 이 분야의 이름을 붙이고, 위에서 인용한 정의를 제시했다. 한 저자, 세 단계, 3년의 기록이다. |
| 2026-08 | 이 계단(arXiv:2608.21156)과 결정성 연구(arXiv:2608.26197) | Feng 외; Dhage | 하니스 엔지니어링은 공식적으로 발표된 체계에서 세 번째 단계로 자리 잡았고, 실제로 측정해보니 아무도 바라지 않았던 결과가 나왔다. |
[설계] 변화의 흐름은 역량 중심에서 제약 중심으로 이동한다. 2022년과 2023년에는 '모델이 도구를 쓸 수 있는가?'라는 질문이 중심이었지만, 2024년 이후부터는 '어떤 도구를, 어떤 조건에서, 어떻게 검증하며, 잘못됐을 때 무슨 일이 일어나는가?'로 초점이 옮겨졌다. 표준화가 측정보다 먼저 이뤄졌다. MCP는 2024년 11월에 출시됐고, 하니스가 에이전트를 더 신뢰할 수 있게 만드는지에 대한 첫 공개 측정은 2026년 8월에 나왔다.
지금은 누가 이끌고 있는가? 현재 프로토콜 계층과 실무자 표준은 모델 연구소들이 주도한다. Anthropic의 Building Effective Agents와 MCP, OpenAI의 함수 호출 스키마가 대표적이다. 코딩 에이전트 제품(Claude Code, Codex)은 설계의 한계를 가장 극단적으로 밀어붙인다. 코딩 에이전트란 '모델이 들어 있는 하니스'이지, 그 반대가 아니다. 측정은 학계의 몫이다. ACI 결과는 Princeton, Sierra가 담당한다.pass^k.
비유: 레스토랑 주방
이 시리즈 전체를 관통하는 하나의 이미지는 이야기 대신 도구로 제시된다. 모든 요리사는 같은 사다리를 오른다. 혼자 요리하다가, 가족을 위해, 레스토랑 주방에서, 패스트푸드 체인을 운영하고, 국가 공급망까지 확장한다. 엔지니어도 마찬가지다. 학생, 주니어 개발자, 시니어 개발자, AI 테크 리드, CTO, 그리고 프런티어 리더로 성장한다. 에이전트 엔지니어링의 각 단계는 이 사다리에서 하나의 주방에 해당한다.
1단계는 말을 섞을 수 없는 요리사에게 건네는 레시피 카드였다. 2단계는 그들이 쓸 수 있는 식재료 창고였다.3단계는 주방 그 자체다 — 그 안에는 세 가지가 있다. 이 요리사가 맡을 스테이션은 어디인가? 손이 닿는 도구는 무엇이고, 서랍에 들어간 것, 사무실에 잠긴 것은 무엇인가? 그리고 패스 — 모든 접시가 통과하는 카운터, 요리사가 아닌 누군가가 테이블에 나가기 전에 확인하는 곳이다.
시니어 개발자의 역할은 주니어보다 요리를 더 잘하는 것이 아니다. 낯선 유능한 사람이 불을 내지 않고 교대를 마칠 수 있도록 주방을 설계하고, 잘못된 접시는 테이블이 아니라 패스에서 걸러지게 만드는 것 — 즉, 당신이 직접 훈련하지도, 감독할 수도 없는 작업자를 위한 경계가 있는 환경을 만드는 일이다. 이것이 바로 하니스 엔지니어링의 본질이다.
| 단계 | 주방 | 당신의 역할 | 설계할 수 있는 범위 |
|---|---|---|---|
| 1. 프롬프트 | 레시피 카드 — 혼자 요리하는 단계 | 학생 | 요리사가 참고하는 글로 된 지침 |
| 2. 컨텍스트 | 식재료 저장실 — 가족을 위해 요리하는 단계 | 주니어 개발자 | 작업 중 조리대와 냉장고에 놓인 모든 재료 |
| 3. 하니스 | 레스토랑 주방 | 시니어 개발자 | 작업 구역, 손이 닿는 도구, 그리고 모든 접시가 검사되는 패스 |
| 4. 루프 | 패스트푸드 체인 | AI 테크 리드 | 맛을 보고, 측정하고, 수정하며, 모든 매장에 변경 사항을 적용 |
| 5. 그래프 | 전국 공급망 | CTO | 여러 주방, 하나의 일정, 하나의 트럭 운송 체계 |
| 6. 평가 | 리콜 기록 | 프런티어 리더 | 전체 식품 시스템이 어떤 실수에서 무엇을 배웠는지가 곧 이 단계의 학습이다. |
축은 두 개다.이 사다리는 한 번 올라가고 끝나는 것이 아니다. 모든 주방에는 여섯 겹의 층위가 동시에 존재한다. 집에서 요리하는 사람도 레시피 카드, 팬트리, 스토브, 맛보기, 공급자, 그리고 지난번에 뭐가 잘못됐는지에 대한 기억까지 모두 갖고 있다. 사다리를 오를수록 달라지는 것은 내가 직접 다룰 수 있는 층위의 수와 각 층위를 얼마나 엄격하게 운용하는지다. 처음에는 감으로 하다가, 점차 측정하고, 게이트를 걸고, 스스로 고치는 단계로 발전한다. 멋진 공급망 다이어그램만 있고 패스(검수대)에서 체크하지 않는 전국 체인점은, 모든 접시를 검사하는 단일 레스토랑보다 성숙도가 낮다. 그래서 이 여섯 가지 공학은 층위(서로 다른 객체: 명세, 상태, 제어 엔벨로프, 제어 흐름, 토폴로지, 진리 함수)이고, 선임성은 성숙도다. 그래프가 루프보다 무조건 더 고급인 것은 아니다.
이 비유는 주장을 소개하는 데 쓸 수는 있지만, 결코 그 주장에 대한 증거로 삼을 수는 없다. 아래 1:1 매핑에서 모든 요소는 코드의 정확히 한 부분에 대응된다.
이 글의 주장, 분류별로
[정의] 하니스란 제어 엔벨로프다. 즉, 시스템이 취할 수 있는 행동의 집합과, 각 행동이 합법이 되는 조건의 집합이다. 프레임워크도, 래퍼도 아니다. 당신이 직접 그리는 경계이며, 에이전트의 행동은 그 안에서만 살아간다.
[증거] 엔벨로프를 설계의 표면으로 다뤄야 하는 이유는, 누군가 모델은 고정한 채 인터페이스만 바꿨기 때문이다. Yang 등(SWE-agent, arXiv:2405.15793, 2024-05-06)은 한 번 말하고 나면 너무 당연해 보이지만 아무도 말하지 않았던 관찰에서 출발한다. "we posit that LM agents represent a new category of end users with their own needs and abilities, and would benefit from specially-built interfaces to the software they use."(번역: 우리는 LM 에이전트가 고유한 요구와 능력을 가진 새로운 범주의 최종 사용자이며, 그들이 사용하는 소프트웨어에 맞춤화된 인터페이스로부터 이득을 볼 것이라고 가정한다.) 그 결과, "SWE-agent's custom agent-computer interface (ACI) significantly enhances an agent's ability to create and edit code files, navigate entire repositories, and execute tests and other programs"(번역: SWE-agent의 맞춤형 에이전트-컴퓨터 인터페이스(ACI)는 에이전트가 코드 파일을 생성하고 편집하며, 전체 저장소를 탐색하고, 테스트와 기타 프로그램을 실행하는 능력을 크게 높여준다.) 이 성과는 모델 자체가 아니라 도구를 새롭게 설계함으로써 달성된 것으로, 당시 SWE-bench 기준 pass@1 12.5%라는 최고 기록을 세웠다.
Anthropic의 Building Effective Agents (2024-12-19)에서는 같은 사실을 실무 지침으로 삼았다. "One rule of thumb is to think about how much effort goes into human-computer interfaces (HCI), and plan to invest just as much effort in creating good agent-computer interfaces (ACI)."(번역: 인간-컴퓨터 인터페이스(HCI)에 얼마나 많은 노력이 들어가는지 생각해보고, 그만큼의 노력을 에이전트-컴퓨터 인터페이스(ACI) 설계에도 투자하라.) 이 원칙은 단순성과 투명성에 이어 세 번째로, Anthropic이 제시한 에이전트 설계의 세 가지 핵심 원칙 중 마지막에 위치한다. "Carefully craft your agent-computer interface (ACI) through thorough tool documentation and testing"(번역: 도구 문서화와 테스트를 철저히 하여 에이전트-컴퓨터 인터페이스(ACI)를 신중하게 설계하라.).
[EVIDENCE] 즉, 인터페이스는 실제로 중요하다. 그렇다면 엔벨로프를 두는 것이 에이전트의 신뢰성을 높여줄까? Dhage의 연구(arXiv:2608.26197, 2026-08-25)는 바로 이 질문에 답하고자 했다. 유한 상태 제어, 강제 도구 선택, 출력 검증, 제한된 재시도 등 결정적 실행 계층을 적용해 두 개의 합성 태스크와 두 개의 오픈웨이트 모델, 네 개의 실험 셀을 구성했다. 첫 실험 결과는 이 계단의 논문이 스스로의 기준에서 실패한 사례였다. 하니스는 "significantly improves reproducibility in one of four model-task cells, significantly degrades it in two, and has no effect in the fourth."(번역: 네 개의 모델-태스크 셀 중 하나에서는 재현성을 크게 개선했지만, 두 개에서는 오히려 크게 저하시켰고, 나머지 하나에서는 아무 효과가 없었다.)
네 개 중 두 셀에서는 오히려 더 나빠지는 결과가 나왔다. 가드레일을 적용했더니 대시보드가 문제를 제기했다. 트레이스 단위 진단 결과, 원인은 1계단 위 — 제약 없는 자유 텍스트 플래닝 단계에 있었고, 여기를 제한하자 네 셀 중 세 곳이 N=100에서 1.000에 도달했다. 이 계단에서 당황한 저자가 남긴 마지막 문장: 하니스 엔지니어링은 분명 실재하는 분야이지만, "but its cost is model-dependent and must be measured, not assumed."(번역: 그러나 그 비용은 모델에 따라 다르며, 반드시 측정해야 하고, 가정해서는 안 된다.)
[DESIGN] 어디서 수치가 갈리는지 정확히 짚어야 한다. 이 수치가 가장 자주 오해된다. 논문 원문은 다음과 같다. "token cost falls in every cell, but latency shows a genuine, sample-size-robust split by model -- one becomes faster under the constraint, the other markedly slower."(번역: 토큰 비용은 모든 셀에서 감소하지만, 지연(latency)은 모델에 따라 뚜렷하게 갈린다 — 하나는 제약 하에서 더 빨라지고, 다른 하나는 현저히 느려진다.) 토큰 비용은 모든 셀에서 토큰 비용은 내려간다. 하지만 지연 시간은 모델마다 다르게 나타난다. 엔벨로프의 비용은 자동으로 높아지는 것이 아니라, 예측할 수 없는 방향으로 튄다. 아키텍처 다이어그램만 봐서는 알 수 없는 일이다.
[DERIVATION] 이 둘을 합치면 이번 화의 핵심 주장에 도달한다. 인터페이스는 에이전트가 실제로 달성할 수 있는 범위를 바꾼다(SWE-agent). 반면, 엔벨로프는 얼마나 일관되게 그 목표를 달성하는지에 신뢰성을 보장하지 않는다(Dhage). 대부분의 사람들이 사용하는 메트릭이 이 두 속성을 구분하지 못하기 때문에, 둘이 자주 혼동된다.
[DEF] 여기서 이번 화가 집중하는 두 용어가 등장한다. 이 둘은 오타가 아니다.
pass@k— 여러k번의 시도 중 최소 한 번 성공했는가? 벤치마크에서 흔히 쓰는 수치다. 사용자가 재시도할 수 있고, 좋은 답과 나쁜 답을 구분할 수 있을 때 적합한 메트릭이다.pass^k— 여러k번의 시도 중 모두 k 성공했는가? τ-bench의 메트릭이자, 실제 고객이 겪는 현실이다. 고객은 한 번 실행된 결과만 받으며, 그게 어떤 시도였는지 알지 못한다.
[EVIDENCE] Yao 등은 이 차이를 한 문장으로 요약했다: "We also propose a new metric (pass^k) to evaluate the reliability of agent behavior over multiple trials. Our experiments show that even state-of-the-art function calling agents (like gpt-4o) succeed on <50% of the tasks, and are quite inconsistent (pass^8 <25% in retail)."(번역: 우리는 여러 번의 시도에서 에이전트 행동의 신뢰성을 평가하기 위한 새로운 메트릭(pass^k)을 제안한다. 우리의 실험에 따르면, 최신 함수 호출 에이전트(예: gpt-4o)조차도 전체 과제의 50% 미만에서 성공하며, 일관성도 매우 떨어진다(pass^8이 리테일 분야에서 25% 미만임.) ) 최첨단 툴콜링 에이전트도 절반 이하의 과제만 풀고 — 여덟 번 연속 모두 성공하는 경우는 4분의 1도 안 된다..
1:1 기술적 대응표
주방의 각 요소는 코드의 특정 부분에 정확히 대응한다. 비유는 주장을 소개할 수 있지만, 결코 증거가 될 수 없다. 여기서는 장식 없이 대응만을 제시한다.
| 주방 | 시스템 | 실제 구현 위치 |
|---|---|---|
| 이 요리사가 맡을 수 있는 작업 구역 | 툴 허용 목록(allow-list) | ALLOW = {"mkdir","move","log"} — 실행 전 소속 여부를 검사하는 집합 |
| 사무실에 잠겨 있는 칼 | 허가받지 않은 동사 | UNGRANTED = {"wire_transfer","close_period",…} — 거부되고, 기록만 남으며, 절대 실행되지 않음 |
| 소스를 접시에 올리기 전 미리 맛보기 | 드라이런(dry-run) | dry_run(verb, src, dst) — 결과만 반환하고(ok, reason) 실제로는 아무것도 변경하지 않음 |
| 패스(pass) — 접시가 나가기 전 마지막 점검 | 출력 검증(output validation) | 툴에서 미리 체크하는 스키마결과를 호출자가 확인하기 전에 |
| 패스에서 반려된 접시를 다시 만들기 | 한정된 재시도(bounded retry) | for _ in range(retries + 1) — 무한 루프가 아닌, 정해진 예산만큼 |
| 바쁜 저녁에 같은 주문서를 두 번 작성하기 | 중복 발생한 부작용 | 아이덴포턴시 키(idempotency key): sha256(line_id|ledger_id|cents) |
| 주방장이 직접 서비스를 중단하는 상황 | 킬 스위치 | MAX_ADJUSTMENTS_PER_RUN 그리고 영향 반경 제한 장치 |
| 문제 있는 접시 하나를 과감히 버리는 일 | 되돌릴 수 있는 동작 | undo 로그 — undo.jsonl이후 역순으로 재실행 |
| 문제 있는 재료 | 되돌릴 수 없는 동작 | undo 로그로는 아무런 도움이 되지 않는다. 오직 allow-list만이 이를 막아준다. |
| "we served 200 covers, so we're fine"(번역: "200인분을 내보냈으니 우리는 괜찮다") | pass@k | 여러 번 시도 중 최소 한 번이라도 k 성공했다 |
| "nobody was served a bad plate all night"(번역: "오늘 밤 내내 불량한 접시가 손님에게 나간 적이 없다") | pass^k | 모든 k번의 시도가 모두 성공했다 |
예측 게이트
스크롤을 내리기 전에 먼저 예측을 기록하라. 기록하지 않은 예측은 나중에 틀려도 맞았다고 착각하게 된다. 도구를 쓰는 에이전트에는 네 가지 엔벨로프 요소가 있다. allow-list, dry-run, 출력 검증, 그리고 두 번으로 제한된 재시도다. 각 요소를 하나씩 제거하며 100개의 작업을 8번씩 시도한다.
Q1.엔벨로프가 완전히 없는 상태, 즉 allow-list, dry-run, 검증, 재시도 모두 빠진 상황에서 pass@8 값은 어떻게 나올까?
Q2. 네 가지 요소를 제거했을 때 각각이 미치는 영향의 크기를 기준으로 순위를 매겨보라. pass^8가장 큰 피해를 주는 것부터 시작한다.
Q3.허용 목록, 드라이런, 검증이 모두 없는 에이전트에 바운드된 2회 재시도만 추가한다. 오직 재시도만 바꾼 셈이다. 이때 실제로 실행된 금지된 툴 호출의 수는 어떻게 변할까? 줄어들까, 그대로일까, 아니면 오히려 늘어날까?
정답은 노트북과 Failure Room에 있다.
노트북
Lab 03 — 엔벨로프 실험: pass^k하니스 환경에서 진행한다.
03_envelope_passk.ipynb · Colab 무료 버전 사용 · API 키 불필요 · CPU 약 5초 소요 · 모든 셀은 출판 전 실행 완료. 소스와 아래 두 프로젝트 포함: gist.github.com/wjlgatech/218a4a45…
총 8개의 셀로 구성된다. 워커는 시드가 고정된 스텁이며, 한 번 실행할 때마다 세 가지 독립적 위험이 있다. 허용 목록에 없는 툴, 허용된 툴이지만 잘못된 대상, 그리고 출력 스키마를 통과하지 못하는 결과다. 각 위험은 작업별로 고정된 난이도에 따라 조정된다. 이렇게 하면 균일한 작업 세트에서는 pass^k 가 일정하게 감소하는 양상으로 나타나며 p**k τ-bench에서처럼 갑자기 붕괴하지 않는다.
[EVIDENCE] 제거 실험 결과, N=100개 작업, k 최대 8, 셀 3에서 출력된 내용:
envelope pass@1 pass@8 pass^1 pass^5 pass^8 out-of-env silent
none — no envelope 0.640 1.000 0.640 0.240 0.150 73 87
full minus allow-list 0.820 1.000 0.820 0.500 0.360 93 0
full minus dry-run 0.850 1.000 0.850 0.560 0.380 0 0
full minus validation 0.820 1.000 0.820 0.410 0.250 0 107
full minus retry 0.740 1.000 0.740 0.340 0.200 0 0
full envelope 0.950 1.000 0.950 0.770 0.580 0 0
Q1의 답: 1.000. 모든 구성에서 동일하다. 73회의 금지된 툴 호출 이 포함된 경우도 마찬가지다. 그리고 87개의 오답이 정답처럼 포장되어 반환되었다. 으로 평가하면 pass@8, 실험실에서 가장 위험한 에이전트가 오히려 최고 점수를 받는다.
이 행이 바로 이번 에피소드의 핵심 주장이다. pass@k 는 본래 그런 역할을 한다. 이 수치는 해당 기능이 존재하는지만 측정할 뿐, 신뢰성을 평가하는 지표라고 주장한 적은 없다.pass^8 는 동일한 조건에서 여섯 가지 구성을 0.430 범위로 확연히 구분해낸다.
[EVIDENCE] Q2에 대한 답변은 5번 셀에서 확인할 수 있다. 재시도(−0.380), 검증(−0.330), 허용 목록(−0.220), 드라이런(−0.200) 순이다. 재시도가 가장 큰 영향을 줄 것이라고는 예상하지 못했다. 네 가지 요소 중 세 가지는 탐지기다. 허용 목록, 드라이런, 검증은 모두 문제를 찾아내고 거부한다. 오직 재시도만이 감지된 문제를 성공으로 바꾼다. 재시도 예산이 없는 탐지기는 일기장에 연결된 화재경보기와 같다. 진실을 아무리 길게 알려도, 실제로 조치할 수 있는 사람은 아무도 없다.
그렇다고 해서 재시도가 가장 중요한 요소라는 뜻은 아니다. 재시도를 제거하면 0.380만큼 pass^8이 줄고, 안전성은 0이 된다. 허용 목록을 제거하면 0.220만큼 감소하고, 금지된 호출 93건이 실제로 실행된다. 손실의 성격이 다르기 때문에, 단일 순위 숫자로는 설명할 수 없다.
[EVIDENCE] Q3에 대한 답: 변화 없음. 바로 이 점이 핵심이다. 표를 보면 none에서는 73건, full minus allow-list에서는 93건의 금지된 실행이 기록되어 있다. 이 차이를 재시도의 영향으로 해석하고 싶어지지만, 두 행은 세 개의 스위치가 다르다. 7번 셀에서는 한 번에 하나씩만 바꾸고, 허용 목록은 계속 꺼진 상태다.
configuration pass@1 pass^8 out-of-env silent
none 0.640 0.150 73 87
+ dry-run 0.640 0.150 74 85
+ validation 0.640 0.150 74 0
+ bounded retry (= no allow-list) 0.820 0.360 93 0
none + bounded retry ONLY 0.640 0.150 73 87
재시도만 단독으로 추가해도 아무 변화가 없다. 73에서 73으로 그대로고, pass@1 역시 변하지 않는다. 드라이런과 검증이 없으면 아무것도 탐지되지 않는다., 그래서 루프는 결코 반복되지 않는다. 앞단에 디텍터가 없으면 재시도 예산은 사실상 무의미한 코드가 된다. '네 개 중 세 개가 디텍터'라는 사실을 반대 방향에서 다시 확인한 셈이며, 내가 여기서 하고 싶었던 그럴듯한 이야기를 정면으로 반박한다.
[DERIVATION] 봉인(엔벨로프) 비용은 실제로 존재하며, 조합에 귀속된다. 두 개의 디텍터 위에 재시도를 추가하면, 봉인 밖 실행 횟수가 74에서 93으로 19회 늘어나며, 25.7% 증가한다. 디텍터가 재시도를 작동시키고, 시도할 때마다 잠긴 서랍을 한 번 더 뒤지는 셈이다. 그러니 '재시도는 위험하다'가 아니라, 디텍션과 재시도는 하나의 단위이며, 이 단위가 시도 횟수를 기하급수적으로 늘린다. 허용 목록 없이 배포하면, 신뢰성을 봉인(엔벨로프)으로 산 셈이 되고, 그 커밋 하나로 아무도 모르게 바뀐다.
[EVIDENCE] 셀 6의 스윕 결과 — 한 번의 측정만으로는 충분하지 않으니, 봉인을 고정하고 작업자의 노이즈만 바꿔본다.
| 노이즈 | pass@1 | pass@8 | pass^5 | pass^8 | gap@8 |
|---|---|---|---|---|---|
| 0.25 | 0.990 | 1.000 | 0.950 | 0.940 | 0.060 |
| 0.50 | 0.990 | 1.000 | 0.890 | 0.850 | 0.150 |
| 1.00 | 0.950 | 1.000 | 0.770 | 0.580 | 0.420 |
| 1.50 | 0.900 | 1.000 | 0.610 | 0.420 | 0.580 |
| 2.00 | 0.800 | 1.000 | 0.440 | 0.310 | 0.690 |
pass@8 는 모든 노이즈 레벨에서 1.000으로, 작업자가 아무리 엉망이어도 값이 변하지 않는다. 반면 pass^8 는 0.940에서 0.310까지 떨어진다. pass@k 이 수치는 품질 보고서가 아니라, 단지 퍼센트 기호가 붙은 스모크 테스트일 뿐이다.
[DESIGN] 왜 스텁을 썼고 실제 모델이 아닌가? 시뮬레이터는 어떤 지점에서 액션이 봉인을 벗어나는지와 어떤 요소가 다시 집어넣는지, 즉 몇 초 만에 무료로, 키 없이, 모든 위험률을 셀 1에서 직접 조정할 수 있다. 이 방식은 크기(규모)를 재현하지 않는다. 이 시뮬레이터가 출력하는 어떤 값도 τ-bench의 pass^8 <25% 또는 Dhage의 N=100에서 1.000을 입증하는 증거가 아니다. 마지막 셀은 다리 역할을 한다. 한 함수를 실제 툴 호출 루프로 바꿔도 측정 코드는 변하지 않는다. 왜냐하면 pass_at_k 와 pass_pow_k 는 그 불리언 값이 어디서 나왔는지 알지 못하기 때문이다.
실패 사례 모음
일부러 망가뜨려 보라. 망가뜨릴 수 없는 메커니즘은 주장일 뿐, 메커니즘이 아니다.
실패 1 — 엔벨로프는 안전하게 만들지, 좋게 만들지는 않는다. 아래 프로젝트 1에서, 엔벨로프를 적용하니 안전성 pass^5 은 0.000에서 1.000으로 올랐지만, 완전성 pass^5 은 양쪽 모두 0.000에 머물렀다. 평범한 작업자에게 완벽한 엔벨로프를 씌우면, 해를 끼치지 않는 평범한 작업자가 나올 뿐이다. 가질 가치는 있지만, 훌륭한 에이전트와는 다르다. 그리고 권한 다이어그램을 품질의 증거로 내세우는 모든 발표 자료는 바로 이 착각을 반복한다.
실패 2 — 실행 취소가 안 되는 undo 로그. 되돌릴 수 있음은 동사의 속성이지, 로그의 속성이 아니다. 내 파일 정리기는 모든 커밋된 이동을 undo.jsonl 에 기록하고 역순으로 재생한다. 이론상으론 완벽한 안전 장치지만, 에이전트가 무언가를 삭제하는 순간 이야기가 달라진다. 엔벨로프를 끄고 데모를 돌리면: readings.csv, 내 스텁이 쓰레기라고 판단한 파일이 사라지고, undo 재생은 열네 번의 이동을 충실히 되돌리지만 아무것도 복구하지 못한다. 허용 목록은 되돌릴 수 없는 동사를 보호하고, undo 로그는 되돌릴 수 있는 동사를 보호한다. 후자만 구현하는 것이 이 실수의 전형적인 형태다.
실패 3 — 탐지기와 재시도 쌍이 폭발 반경을 키운다. Q3의 원칙: 시도를 곱하는 장치는 반드시 그 시도를 제한하는 장치 내부에 있어야 한다. 재시도만으로는 아무것도 곱해지지 않는다. 탐지와 재시도가 합쳐질 때 한 번의 시도가 세 번으로 불어난다. 허용 목록 없이 이 쌍을 두면 금지된 실행이 19번 늘었다. 해법은 재시도 수를 줄이는 게 아니라, 순서를 바로잡는 것이다.
실패 4 — 한 번도 테스트되지 않은 안전 장치. 내 엔터프라이즈 빌드는 세 가지 엔벨로프 요소와 make gate-broken 각 요소를 제거하고 게이트가 1로 종료되는지 확인하는 타깃을 갖고 있다. 두 개는 게이트를 통과하지 못했다. 킬 스위치는 실패하지 않았다. 정상적인 워크로드에서는 킬 스위치는 실제로 발동하지 않는다. 따라서 어떤 패스율(pass-rate) 지표도 이 장치의 작동을 관찰할 수 없다. 나는 실패할 수 없는 테스트를 써놓고, 초록색 체크 표시만 보고 그대로 배포할 뻔했다. 해결책은 레포에 있다. 킬 스위치가 필요한 결함을 일부러 주입하고, 블라스트 반경에 게이트를 걸어야 한다. 결코 실패하지 않는 테스트만 거친 안전장치는, 실은 한 번도 제대로 시험된 적 없는 장치다.
실패 5 —pass@k를 신뢰성(reliability)으로 보고했다.를pass^k와(out-of-envelope) 카운트와 함께 반드시 나란히 보고하거나, 아예 보고하지 않는 편이 낫다.
프로젝트
프레임워크 없이, 표준 라이브러리만으로 바닥부터 만든 두 가지 빌드다. 이 섹션을 쓰기 전에 모두 직접 실행해 수치를 측정했다. 두 프로젝트 모두같은 공개 gist에 노트북과 함께 올려두었다.
프로젝트 1 — 실전 사례the-desk-tidy
desk_tidy.py · python3 measure.py
지저분한 폴더를 카테고리별로 정리하는 파일 정리기다. 무인 실행이 안전해지려면 최소한의 엔벨로프가 필요하다. 세 개 동사만 허용하는 allow-list(mkdir, move, log), 모든 목적지가 폴더 내부인지 확인하는 dry-run, 그리고 undo log가 그것이다. 누구도 Downloads 폴더에 권한 정책을 따로 쓰지 않는다. 그래서 이곳이 엔벨로프가 실제로 무엇을 보장해주는지 배우기에 제격이다.
[EVIDENCE] N=100개의 데스크 × k=5회 독립 시도 = 각 조건별 500회 실행 결과:
ENVELOPE ON ENVELOPE OFF
pass@5 (safe) 1.000 0.480
pass^5 (safe) 1.000 0.000
pass@5 (complete) 0.480 0.480
pass^5 (complete) 0.000 0.000
out-of-envelope deletes 0 625
actions refused 974 0
writes outside the root 0 349
files lost (= both) 0 974
의도적으로 분리한 두 가지 기준이 있다.SAFE: 아무것도 삭제되지 않았고, 폴더 밖에 기록된 것도 없다.COMPLETE: 모든 파일이 올바른 카테고리에 도달했다.
[DERIVATION]파괴적 호출 625건과 이탈 349건 — 블록은 이 둘을 따로 센다. 첫 번째만 파일을 실제로 삭제하지만, 둘 다 엔벨로프 밖에서 일어난다. 엔벨로프를 끄면 974개의 파일이 사라지고, 켜면 974번의 행동이 거부된다. 같은 숫자가 두 번 반복된다. 엔벨로프는 단 한 번의 의사결정도 개선하지 않았다. 모든 파괴적 행동을 거부로 바꿨을 뿐이다. 이것이 전부이며,complete 행이 바뀌지 않는 이유다. 거부의 대가는 미완성된 작업이다.readings.csv는 여전히 책상 위에 분류되지 않은 채로 남아 있다. 그리고 여전히 파일이다.
프로젝트 2 — 엔터프라이즈 편the-ledger-desk
ledger_desk.py · make gate · make gate-broken · make gate-killswitch
조정 에이전트: 은행 명세서와 장부를 대조해 차이를 기록한다. 여기서 엔벨로프 요소는 세 가지, 각각의 역할도 분명하다.도구 권한이 어떤 동사가 아예 존재할 수 있는지를 결정한다(wire_transfer, close_period와 delete_entry는 처음부터 존재하지 않는다).아이덴포턴시 키 — sha256(line_id|ledger_id|cents)만이 재시도를 안전하게 만든다. 킬 스위치는 한 번의 실행을 최대 12회 조정과 $250로 제한한다.
[EVIDENCE] N=100권 × k=5회 = 각 행마다 500회 실행 결과:
envelope pass@5 pass^5 out-of-env dupes-land kills
full envelope 1.000 1.000 0 0 0
minus permissions 0.960 0.080 324 0 0
minus idempotency 0.490 0.000 0 945 116
minus killswitch 1.000 1.000 0 0 0
no envelope 0.340 0.000 324 982 0
make gate정상 종료 시 0, 권한을 제거하면 1, 아이덴포턴시를 제거해도 1로 종료된다.
[EVIDENCE] 행을 천천히 살펴보라.minus permissions — 당신이 실제로 서명할 수 있는 숫자 — 그 옆에는 pass@5 = 0.960324건의 미허가 도구 호출이 실제로 실행됨이 기록되어 있고, 는 pass^5이다.0.080만으로는 pass@k 다섯 번 중 네 번이나 엔벨로프 밖으로 벗어난 에이전트를 구분할 수 없다.
그 minus idempotency이 행은 단일 요소만 제거했을 때는 드러나지 않는 상호작용을 보여준다. 실제로 945건의 중복 조정이 발생했고, 킬 스위치는 116번 작동했다. 킬 스위치는 다른 요소가 실패하기 전까지는 존재감이 없다가, 한 번이라도 실패가 발생하면 불안정한 툴 호출과 회계 기간 전체가 덮어써지는 것 사이에서 마지막 방어선 역할을 한다.
[OPEN]이 때문에minus killswitch는 완전한 엔벨로프와 동일한 결과를 내며, 이 프로젝트에서 내가 Makefile을 다시 쓰게 된 이유이기도 하다.pass^k정상적인 워크로드에서는, 문제가 생길 때만 작동하는 장치를 실제로 시험해볼 수 없다.make gate-killswitch그래서 필요한 것이 바로 이것이다. 결함을 직접 주입(idempotency off, retries duplicating)하고, 블라스트 반경에 게이트를 건다.
killswitch ON : 116 trips · worst run 12 postings (cap 12) · 299 lines flagged → exit 0
killswitch OFF : 0 trips · worst run 18 postings (cap 12) · 0 lines flagged → exit 1
세 가지 요소 중 두 개는pass^k로 게이트된다. 나머지 하나는 별도의 결함 주입이 필요하며,pass^k만으로는 결코 알 수 없다.
30분 만에 구축하는 계약서
엔벨로프에 필요한 모든 요소를, 실제 엔지니어가 요구하는 순서대로 정리한다.입력제안된(verb, args). 출력하나의Result또는 거부 사유와 함께 거부불변 조건모든 게이트를 순서대로 통과하기 전에는 어떤 부작용도 발생하지 않는다.정지 규칙거부는 사람에게 에스컬레이션되고, 재시도 예산은 오직포착된실패에만 소모된다. 거부에는 소모되지 않는다.
ALLOW = {"read", "move", "log"} # 1. the boundary. set membership.
UNGRANTED = {"delete", "wire_transfer"} # exists in the world, not in the envelope
def act(verb, args, retries=2):
if verb not in ALLOW: # 1. ALLOW-LIST — before anything else
return refuse(verb, "not on the allow-list")
for _ in range(retries + 1): # 4. BOUNDED RETRY — a budget, not a loop
ok, why = dry_run(verb, args) # 2. DRY-RUN — nothing has touched disk
if not ok:
return refuse(verb, why) # a refusal is NOT retried
key = idem_key(verb, args) # 6. IDEMPOTENCY — same action, once
if key in ledger:
return ledger[key]
if blast_radius() + cost(args) > CAP: # 5. KILL SWITCH — bound the run
return halt_and_flag(verb, args)
result = execute(verb, args) # the ONLY line with a side effect
undo_log.append(inverse(verb, args)) # 7. UNDO — only helps reversible verbs
if validate(result): # 3. VALIDATION — the pass
ledger[key] = result
return result
return refuse(verb, "retry budget exhausted")
# CI gate (make gate): N=100 tasks x k=5 runs
# pass^5 >= 0.99
# out_of_envelope_calls == 0
# blast radius under fault injection <= CAP
# any line below threshold -> exit 1 -> the build fails
[DESIGN]네 가지 속성이 이 시스템을 단순 데모가 아닌 엔터프라이즈급으로 만든다. 각각이 그 자리를 차지할 만한 이유가 있다.
- 허용 목록 검사는 반드시 재시도 루프 바깥에서 가장 먼저 이뤄진다. 이 순서 자체가 설계의 핵심이다. 루프 안에 둬도 논리적으로는 동작하지만, 바깥에 둘 때만 거부된 동사가 다시 뽑히는 일이 원천적으로 차단된다. 셀 7의 실험 결과가 이 실수를 수치로 보여준다. 탐지기와 재시도 쌍만 두고 허용 목록이 없으면, 바깥 실행 횟수가 74에서 93으로 늘어난다.
- 거부된 요청은 절대 재시도하지 않는다. 오직 잡아낸 실패만 재시도한다. 이 두 상태를 구분하지 않으면, 재시도 예산이 당신의 권한 시스템을 무력화하는 서비스 거부 공격 통로가 된다. 거부란 이 동작은 허용되지 않는다는 뜻이고, 잡아낸 실패란 이 시도는 형식상 잘못됐다.
- 아이덴포턴시 키는 매 호출마다 새로 만드는 것이 아니라, 액션 자체에서 파생해야 한다. 실제 운영에서는 컬럼에 유일성 제약을 걸고, 그 제약이 곧 전체 구현이다. 호출 시점에 생성한 UUID는 아이덴포턴시 키가 아니라, 단순히 중복에 대한 영수증일 뿐이다.
- 게이트는 임계값이 하나가 아니라 세 가지를 동시에 가진다.
pass^k신뢰성 기준, 경계 이탈 횟수(봉인 유지), 그리고 정상 상황에서는 절대 발동하지 않는 장치들을 위한 결함 주입 블라스트 반경 체크가 각각 따로 있다.
의도적으로 빠진 항목도 있다. 동시성(두 번 실행이 undo 로그에서 경합), 에스컬레이션 경로 뒤의 인간 승인 큐, 실제 모델, 실제 데이터베이스는 모두 생략했다. 아이덴포턴시 원장은 그냥 딕셔너리다. 두 빌드의 솔직한 상태는 실행 가능하며 게이트가 적용된 상태일 뿐, 배포되어 실제로 측정된 상태는 아니다.
같은 구조, 다섯 가지 출구
뼈대는 하나지만, 독자마다 열리는 문은 다르다. 한 번의 결정과 한 번의 행동만 직접 해보고, 나머지는 남겨두라.
| 만약 당신이 | 이 에피소드가 바꾸는 결정 | 이번 주에 직접 해볼 수 있는 행동 |
|---|---|---|
| 고등학생 빌더라면 | "AI에게 도구를 준다"는 것은 칼을 건네는 일이 아니라, 주방을 설계하는 일이다. | Colab 실습을 5초만에 돌려보고, 친구 한 명에게 pass@k와 pass^k 한 명의 친구에게 설명하라. |
| AI 엔지니어라면 | 아마도 당신이 쓰는 신뢰성 수치는 pass@k일 것이고, 에이전트가 엉뚱하게 행동해도 1.000에서 멈춰버린다. | 당신이 관리하는 에이전트 하나에 대해 pass^5를 직접 계산하고, 봉투(엔벨로프)를 벗어난 행동의 개수와 함께 나란히 기록하라. |
| 창업자라면 | 권한 다이어그램이 품질의 증거는 아니다. 엔벨로프는 에이전트를 안전하게 만들 뿐, 잘 만들지는 않는다. | 팀에게 pass^k와 봉투 밖으로 벗어난 행동의 개수를 함께 요청하라. 두 번째 숫자가 없다면, 그게 바로 발견이다. |
| 임원이라면 | 자율 시스템을 검토할 때 반드시 물어야 할 것은 어떤 행동이 되돌릴 수 없는지, 그리고 그 한계를 무엇이 정하는지다. | 다음 아키텍처 리뷰 때 "부여되지 않은 동사는 무엇이고, 블라스트 반경 한계는 어디까지인가"를 꼭 추가하라. |
| 투자자라면 | 어떤 에이전트 회사든 멋진 데모는 보여줄 수 있다. 하지만 엔벨로프와 그 게이트야말로 쉽게 복제할 수 없는 부분이다. | pass^k와 pass@k를 나란히 요청하라. 둘 중 하나만 내놓는다면, 그건 연극에 불과하다. |
현실 미션
이번 주에 이미 운영 중인 자동화나 에이전트 하나를 골라 15분만 투자하라.
- 쓰기, 전송, 지출, 삭제 등 도구를 쥔 에이전트나 자동화 중 하나를 고르라.
- 그것이 실제로 호출할 수 있는 모든 동사를 적어보라. 당신이 의도한 것이 아니라, 코드상 도달 가능한 모든 것까지. 이 단계만으로도 대개 중요한 발견이 일어난다.
- 각 동사에 되돌릴 수 있음 또는 비가역적. 비가역적 동사는 허용 목록이 필요하고, 가역적 동사는 되돌리기 로그로 처리할 수 있다. 대부분은 로그만 있고 목록은 없다.
- 대표 작업 하나를 다섯 번 반복 실행하고, 다섯 번 모두 성공한 횟수를 세어라. 이것이 당신의
pass^5값이다. 지금까지 인용해온 수치와 직접 비교해보라. - 안전 장치 하나를 골라 마지막으로 실제로 작동한 시점을 확인하라. 만약 '작동한 적이 없다'면, 그 장치를 반드시 작동시키는 테스트를 직접 작성하라.
2단계에서 코드상 도달 가능한 동사를 새로 발견했다면, 거기서 멈추는 것이 옳다. 이 에피소드의 나머지 내용은, 아직 그리지 않은 경계 위에 쌓는 최적화에 불과하다.
연구 과제
실험을 시작하기 전에 예측을 미리 기록하라. 예측하지 않은 결과는 반드시 사후에 합리화하게 된다.
결과를 검증할 수 있는 에이전트 작업 하나와 실제 도구 표면을 택하라.pass@k와pass^k를 N ≥ 100, k ∈ {1,3,5,8}의 고정 설정에서 각각 측정하고, 선언한 허용 목록을 벗어난 행동 수도 함께 기록하라. 이후 허용 목록, 드라이런, 출력 검증, 제한된 재시도 등 엔벨로프 요소를 하나씩 무작위 순서로 제거하며, 각 요소가pass^k와 엔벨로프 밖 행동 수에 미치는 한계 효과를 따로따로 보고하라. 두 모델에서 반복하라.
사전 등록: 효과를 가장 크게 담당하는 요소와, 컨테인먼트 효과를 가장 크게 담당하는 요소가 동일한지, 그리고 그 순서가 두 모델에서 일관되는지pass^k를 미리 예측하라.
내 스텁의 답은 이렇다. 둘은 다르다 — 신뢰성은 재시도가, 컨테인먼트는 허용 목록이 담당한다. 그리고 Dhage의 논문은 그 순서가 모델마다 달라질 수 있음을 보여준다. 실제 시스템에서 한 요소가 둘 다 담당한다면 내 결과보다 훨씬 흥미로울 것이다.
무엇이 달라졌나
이 단계의 최신 상태는 30개 개척자 소스의 실시간 주간 피드 동기화에서 추출한 것이다.research-anything (make watch-sync이며, 기술적 신호만으로 순위를 매기고 도달 범위는 고려하지 않는다.동기화 기준일: 2026-09-11. 이 목록의 모든 항목은 실제로 원문을 직접 읽어 선별한 것이다. 단순히 피드 제목만 보고 요약한 것이 아니다.
- The New MCP Roadmap (2026-08-22) — MCP 유지관리팀이 "an updated roadmap for the Model Context Protocol (MCP), covering the next specification release and beyond"(번역: Model Context Protocol(MCP)의 차기 명세 공개와 그 이후까지를 아우르는 최신 로드맵)을 발표했다. 여기에는 엔터프라이즈급 보안과 개선된 기본 구성요소들이 주요 과제로 포함됐다. 이제 하니스의 툴 계층은 단순한 기능이 아니라, 표준처럼 관리되는 영역이 되었다.
- arXiv:2608.27443 (2026-08-27) — Do User-Authored Permission Policies Improve Protection Against AI Agent Overreach?, Ting Yan. 비전문가 113명이 참여해 18개의 행동(이 중 7개는 오버리치)을 포함한 시뮬레이션 하루를 세 가지 조건에서 감독했다. 정책 기반 에이전트 거버넌스를 주장하는 이들에게는 불편한 결과다: "POLICY blocked less overreach than HITL (-20.1 percentage points, 95% CI [-32.1, -8.1])"(번역: 정책 기반 통제가 HITL(Human-In-The-Loop)보다 오버리치 차단 효과가 20.1%p 낮았다. 95% 신뢰구간 [-32.1, -8.1]) 직접 권한 정책을 작성하는 일이, 행동을 하나씩 승인하는 것보다 더 어렵다는 사실이 수치로 드러난 첫 사례다.
- arXiv:2609.00829 (2026-09-01) — HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution, Jiang, W. 외. 하니스를 최적화의 대상으로 명확히 설정하며 논의를 시작한다: "Self-evolving agents advance toward autonomy by optimizing their harness---prompts, skills, tools, and execution logic---based on environmental feedback."(번역: 자기 진화형 에이전트는 환경 피드백을 바탕으로 하니스(프롬프트, 스킬, 툴, 실행 로직)를 최적화하며 자율성에 가까워진다.) 3단계(하니스)가 4단계(루프)로 바통을 넘긴다. 바로 다음 에피소드의 주제다.
- 비록 시계열상 바로 다음은 아니지만, 주제상 직접적으로 맞닿아 있는 논문:arXiv:2608.14711, Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation (2026-08-11 — 이 섹션의 기준일 하루 전 논문이므로, 위가 아니라 여기서 언급한다.)
- 조금 더 이른 시기의 논문이지만, 여전히 핵심을 이루는 연구들:arXiv:2405.15793 (SWE-agent, ACI 관련 결과), arXiv:2406.12045 (τ-bench,
pass^k), 그리고 Lilian Weng의 Harness Engineering for Self-Improvement (2026-07-04), 이 단계의 정의를 가장 명확하게 제시한 글로 여전히 손꼽힌다.
[OPEN] 변하지 않은 점: arXiv:2608.26197의 재현 연구는 아직 없고, 실제 에이전트에서 pass^k 와(out-of-envelope) 액션 카운트를 함께 보고한 논문 역시 내가 찾은 한 없다. 바로 이 측정이 이번 글의 핵심 주장이고, 내 스텁은 그 형태만 보여줄 수 있다. 혹시 해당 연구를 아신다면 공개적으로 알려주시길 바란다.
자기 점검 문제
위로 스크롤하지 말고, 아래 항목을 스스로 답해보라.
pass@k와pass^k의 정의를 쓰고, 실제로 고객이 경험하는 쪽이 무엇인지 설명하라.- 엔벨로프를 구성하는 다섯 가지 요소를 모두 적고, 이 중 어떤 세 가지가 '디텍터' 역할을 하는지 밝혀라.
- 재시도(리트라이)만 단독으로 추가했을 때는 아무 변화가 없었다. 재시도가 금지 호출 수를 늘리려면 반드시 어떤 조건이 갖춰져야 하는가? 그 이유는 무엇인가?
- 에이전트가
pass@8 = 1.000점수를 받았다. 이 수치가 알려주는 두 가지와, 알려주지 않는 두 가지를 각각 적어보라. - 왜
make gate-broken로는 킬 스위치를 테스트할 수 없었는지, 그리고 그 역할을 대신한 것은 무엇인지 설명하라.
다음 화 예고
이제 당신이 직접 엔벨로프를 그릴 차례다.
허용 목록에 오른 모든 동사, 커밋 전에 검사되는 목적지, 패스에서 검증되는 결과, 루프가 아닌 예산으로 제한된 재시도, 그리고 수치로 명확히 설정된 킬 스위치. 게이트는 pass^5 1.000, out-of-envelope 0을 가리키고, 그날 하루만큼은 주방을 완성했다고 믿게 된다.
하지만 곧 complete 그 행, 즉 한 번도 변하지 않은 그 줄을 바라보다 보면, 이 엔벨로프가 결코 해결하지 못할 문제가 있다는 사실이 눈에 들어온다.
패스를 거쳐 다시 돌아온 접시에는 모두 그럴 만한 이유가 있다. 하지만 아무도 그 이유를 기록하지 않는다. 같은 실수가 같은 작업대에서 매번 반복된다. 매번 잡히고, 매번 다시 만들어진다. 오늘 밤과 지난주 화요일의 차이는 단 하나, 재료비를 두 번 냈다는 점뿐이다.
불량 접시를 매번 걸러내면서도, 그 원인을 배우지 못하는 주방은 결코 발전하지 않는다. 다만 음식 낭비에는 탁월하다.
다음 화 — 루프 엔지니어링. 한 번은 제대로 동작하고, 다음 번에는 결과가 달라진다. 이때 필요한 것은 재시도가 아니라, 요리사와는 별개로 판단하는 심판이다.
이어 읽기
Intelligence Engineering Adventures 시즌 7의Intelligence Engineering Adventures, 시즌 7 — 주방 사다리. 시리즈 원본의 주장들은 정의, 도출, 증거, 엔지니어링 선택, 오픈 퀘스천 등으로 분류되어 태그되어 있다. 비유는 주장을 소개할 수는 있지만, 결코 그 주장에 대한 증거로 쓰이지 않는다. 각 에피소드는 Colab 무료 티어에서 API 키 없이 실행되는 노트북과, 아무것도 없는 상태에서 만든 두 개의 애플리케이션(개인용, 엔터프라이즈형)을 함께 제공한다. 다섯 단 사다리는 Feng 외 논문(arXiv:2608.21156)에서 따왔고, 여섯 번째 단인 평가 엔지니어링은 내 추가분이다. 'what moved' 섹션은 30개 개척자 소스를 주간 라이브 피드로 동기화해 기술적 신호 기준으로만 순위를 매긴다(도달 범위는 고려하지 않음). 본 글에는 어떤 고용주나 클라이언트의 자료도 포함되어 있지 않다. — Paul Jialiang Wu · futuremake.io
참고문헌
- Yang, J., Jimenez, C. E., Wettig, A., Lieret, K., Yao, S., Narasimhan, K., Press, O. (2024). SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering. arXiv:2405.15793, 2024-05-06 제출. — arXiv 초록 페이지에서 원문 확인. 두 개의 ACI 인용문과 SWE-bench pass@1 12.5% 수치의 출처.
- Yao, S., Shinn, N., Razavi, P., Narasimhan, K. (2024). τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv:2406.12045, 2024-06-17 제출. — arXiv 초록 페이지에서 직접 확인함.
pass^k및 인용된 <50% / pass^8 <25% 수치의 출처. - Anthropic — Schluntz, E., Zhang, B. (2024-12-19). Building Effective Agents. anthropic.com/engineering. — 2026-09-11에 직접 확인한 엔지니어링 포스트. HCI/ACI 경험 법칙과 세 번째 핵심 원칙의 출처.
- Dhage, S. (2026). Harness Engineering for Predictable Agentic Systems: An Empirical Study of Deterministic Execution Constraints. arXiv:2608.26197, 2026-08-25 제출. — arXiv 초록 페이지에서 직접 확인함. 1-of-4 / 2-of-4 1차 결과, 토큰 비용과 지연 시간 분리, 마지막 "measured, not assumed" 문구의 출처.
- Weng, L. (2026-07-04). Harness Engineering for Self-Improvement. lilianweng.github.io. — 실시간 포스트에서 직접 확인. 하니스 정의 전체 인용의 출처.
- Feng, Y., Xiang, Z., Yang, C., Ma, Q. et al. (2026). Graph Engineering in the Era of LLM Agents: From Individual Intelligence to System Intelligence. arXiv:2608.21156v2, 2026-08-26 개정. — arXiv 초록 페이지에서 직접 확인함. 사다리 구조의 공식적 진술 및 "Harness Engineering to organize external tools and resources"(번역: 하니스 엔지니어링은 외부 도구와 리소스를 조직하는 것).
- Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., Cao, Y. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629, 2022-10-06 제출. — arXiv 초록 페이지에서 직접 확인함.
- Schick, T., Dwivedi-Yu, J., Dessì, R. et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. arXiv:2302.04761, 2023-02-09 제출. — arXiv 초록 페이지에서 원문 확인.
- Patil, S. G., Zhang, T., Wang, X., Gonzalez, J. E. (2023). Gorilla: Large Language Model Connected with Massive APIs. arXiv:2305.15334, 2023-05-24 제출. — arXiv 초록 페이지에서 원문 확인.
- OpenAI (2023-06-13). Function calling and other API updates. openai.com. — 인용 없이 설명됨.
- Anthropic (2024-11-25). Introducing the Model Context Protocol. anthropic.com/news. — 실시간 공지에서 원문 확인, 인용된 정의의 출처. 최신 명세 문서: modelcontextprotocol.io (날짜 미상 문서 홈, 명세 인용을 위한 참조).
- Model Context Protocol maintainers (2026-08-22). The New MCP Roadmap. blog.modelcontextprotocol.io. — 라이브 포스트에서 원문 확인.
- Yan, T. (2026). Do User-Authored Permission Policies Improve Protection Against AI Agent Overreach? arXiv:2608.27443, 2026-08-27 제출. — arXiv 초록 페이지에서 직접 확인, 인용된 −20.1 퍼센트포인트 결과의 출처.
- Jiang, W., Chu, M., Tian, Y. 외 (2026). HarnessEvolve: 신뢰할 수 있는 에이전트 자기진화를 위한 참조 궤적 기반 학습. arXiv:2609.00829, 2026-09-01 제출. — arXiv 초록 페이지에서 직접 확인.
- Jiang, Jiajun, Zheng, S., Vidra, N., Setty, S. (2026). Beyond Pass@k: 에이전트형 코드 생성의 신뢰성과 보안성 측정. arXiv:2608.14711, 2026-08-11 제출. — 'What moved' 항목에서 윈도우 바로 바깥 논문으로 분류.
- Jimenez, C. E., Yang, J. 외 (2023). SWE-bench: 언어 모델이 실제 GitHub 이슈를 해결할 수 있는가? arXiv:2310.06770. — 12.5% pass@1 수치가 측정된 벤치마크.
- Lab 03과 두 프로젝트, 본문 내 모든 수치는 여기서 직접 재현 가능하다: gist.github.com/wjlgatech/218a4a45533812ebe0b3f0e577dd6be7.
- Intelligence Engineering Adventures, 시즌 6 — The Governor Engine, 에피소드 1, 3: 네스팅 다이어그램이 실제 상황에서 무너지고, 이 글의 어떤 레이블도 안정성을 표현하지 못함을 논증.