AI-Native 연재 · 에이전트 엔지니어링 비교: 프롬프트 · 컨텍스트 · 하니스 · 루프 · 그래프
루프 엔지니어링: 재시도가 아니라 외부 심판
총 6편 중 네 번째 이야기. 이 연재는 사람들이 AI 에이전트를 어떻게 엔지니어링하는지 — 프롬프트, 컨텍스트, 하니스, 루프, 그래프 엔지니어링이 각각 어디서 나왔고, 무엇을 통제하며, 어떤 원칙이 실제 측정에서 살아남는지 비교한다. 이번 편은 시스템이 스스로를 교정하는 단계, 그리고 그 교정이 어디에서 비롯되어야 하는지에 집중한다.
핵심만 1분 정리 — 이 글에서 얻어갈 것
무엇을 다루는가AI 에이전트를 어떻게 엔지니어링할 수 있는지 비교하는 연재다. 프롬프트 엔지니어링(보내는 단어), 컨텍스트 엔지니어링(에이전트가 볼 수 있는 정보), 하니스 엔지니어링(에이전트가 할 수 있는 일), 루프 엔지니어링 (스스로를 어떻게 교정하는가)와 그래프 엔지니어링(여러 에이전트가 어떻게 협력하는가). 이번 편에서는 루프 엔지니어링을 다룬다. 2022년부터 2026년까지의 흐름, 이 분야를 주도하는 이들, 그리고 루프가 수렴할지 표류할지를 가르는 단 하나의 설계 원칙이 무엇인지 이야기한다.
왜 이 이야기가 중요한가. 지금 모두가 스스로 실수를 고치는 에이전트를 내놓고 있다. 하지만 자기 점수를 자기 손으로 매기는 루프는 실제로 더 나아지지 않는다. 대신 자신감만 높아진다. 이미 발표된 결과는 단호하다. 외부 피드백이 없으면, 모델은 추론을 스스로 교정하는 데 애를 먹고 오히려 더 나빠질 수 있다. 내가 직접 만든 시스템에서도, 같은 고장난 서비스에 같은 수리 루프를 돌렸을 때 외부 채점자를 따르면 60개 테스트 중 42.6개가 통과하지만, 무시하면 9.6개로 곤두박질친다. 고치러 보낸 버그보다도 더 나쁜 결과인데, 진행 상황은 계속 보고된다. 창업자 입장에서는 현장에서 개선되는 제품과 현장에서 망가지는 제품의 갈림길이다. 엔지니어에게는 CI에 한 줄 추가하는 차이다.
이 글을 읽고 나면 할 수 있는 일. 이미 돌리고 있는 루프가 있다면, 누가 점수를 매기는지 확인하고, 그 채점자를 평가 대상 바깥으로 옮겨라. 20번의 시드 실험에서 드리프트를 측정하는 무료 Colab 노트북(별도 API 키 필요 없음, 표준 라이브러리만 사용)과, 처음부터 만든 두 가지 앱이 제공된다. 하나는 413번의 승인된 단계 중 단 한 번도 외부 점수를 낮추지 않은 학습 계획 리파이너이고, 다른 하나는 make gate 롤백을 빼는 순간 바로 exits 1로 멈추는 수리 루프다.
Season 7 — 시리즈 줄기
- 프롬프트 엔지니어링 — 주문이 아니라 명세다 1화
- 컨텍스트 엔지니어링 — 더 큰 윈도우가 아니라 예산 2화
- 하니스 엔지니어링 — 에이전트가 아니라 경계선 3화
- 루프 엔지니어링 — 재시도가 아니라 외부 심판 이번 화
- 그래프 엔지니어링 — 페르소나 출연진이 아닌 일정 5화
- 평가 엔지니어링 — 진리 함수이며, 리더보드는 그 결과일 뿐이다 6화
이번 편에서 다루는 내용과 루프 엔지니어링이 네 번째에 오는 이유
이 시리즈는 각 편마다 한 단계를 짚는다. 순서는 한 논문에서 제시한 대로 프롬프트 → 컨텍스트 → 하니스 → 루프 → 그래프이고, 이번 시즌이 주장하는 여섯 번째가 추가된다. 루프 엔지니어링은 네 번째 계단이다. 시스템이 자신이 낸 결과를 보고, 충분하지 않다고 판단해 다시 시도하는 지점이다. 그 전까지는 한 번의 시도만 다루지만, 여기서부터는 여러 번을 쓴다.
이 반복이 실제로 의미를 가지려면, 단 하나의 질문이 갈린다. 두 번째 시도가 첫 번째보다 나았다는 걸 누가 인정하는가? 사소해 보이지만, 이게 바로 전부다. 생성기는 훌륭한데 심판이 나쁘면, 루프는 제자리에 머무르지 않는다. 오히려 잘못된 방향으로 자신 있게 걸어가고, 보고하는 숫자는 계속 올라간다.
루프 엔지니어링의 기원과, 지금 이 분야를 이끄는 주체는 누구인가
[DEF] 루프란 세 가지 동작을 조합해 제어하는 구조다. 후보를 만든다,, 점수를 매긴다,, 남길지 버릴지 결정한다. 루프 엔지니어링은 이 세 단계를 반복할 때 결과가 단순히 달라지는 데 그치지 않고, 실제로 더 나아지도록 설계하는 일이다. 이번 편에서 논의하는 모든 쟁점은 두 번째 단계, 즉 '누가 어떻게 점수를 매기는가'에 집중한다.
| 시점 | 전환점 | 주도자 | 무엇이 달라졌나 |
|---|---|---|---|
| 2022-03 | Self-consistency (arXiv:2203.11171) | Wang, Wei, Schuurmans, Le, Chi, Narang, Chowdhery, Zhou | 여러 추론 경로를 샘플링해, 다수가 일치하는 답만 남긴다. 프롬프트에서 출발한 최초의 루프지만, 피드백은 전혀 없고 오직 투표만 존재한다. |
| 2022-03 | STaR (arXiv:2203.14465) | Zelikman, Wu, Mu, Goodman | 루프가 스스로 학습 데이터를 만들고, 정답에 도달한 것만 남긴다. 필터는 외부 레이블이고, 논문에서도 오답은 정답을 제공받아 재시도한다고 명확히 밝힌다. |
| 2023-03 | Reflexion (arXiv:2303.11366) | Shinn, Cassano, Berman, Gopinath, Narasimhan, Yao | 가중치 업데이트 없이 강화: 에이전트가 교훈을 에피소드 메모리 버퍼에 기록하고, 다음 시도에서 이를 읽어 반영한다. HumanEval에서 기준선 80% 대비 91% pass@1을 달성했다. |
| 2023-03 | Self-Refine (arXiv:2303.17651) | Madaan, Tandon, Gupta et al. | 하나의 모델이 생성, 정제, 피드백 제공까지 모두 맡는다. 별도의 학습 과정 없이 7개 과제에서 평균 약 20%의 절대 성능 향상을 보였다. 모델이 자기 자신을 실질적으로 비평할 수 있음을 입증한, 지금까지 공개된 사례 중 가장 강력한 결과다. |
| 2023-10 | 아직 스스로 추론을 교정하지 못함 (arXiv:2310.01798) | Huang, Chen, Mishra, Zheng, Yu, Song, Zhou | 이 논문은 균형추 역할을 한다. 이번 화의 핵심 논거이기도 하다. 외부 피드백을 제거하면, 추론에서의 자기 교정은 도움이 되지 않을 뿐 아니라 오히려 성능을 해칠 수 있음을 보여준다. |
| 2023-12 | FunSearch (Nature, doi:10.1038/s41586-023-06924-6) | Romera-Paredes et al., Google DeepMind | 언어 모델이 체계적인 평가자와 짝을 이루어 새로운 수학적 구조를 찾아낸다. 루프 구조 자체는 오래전부터 있었지만, 외부 심판이 있었기에 Nature에 실릴 수 있었다.Nature. |
| 2024-12 | Building Effective Agents (anthropic.com/engineering) | Anthropic | 실무자들이 정립한 기준에서는 평가자–최적화자 패턴을 별도의 워크플로로 분류하며, 평가자는 항상 별도의 호출로 분리되어 있다. |
| 2025-05 | AlphaEvolve (deepmind.google) | AlphaEvolve team, Google DeepMind | 산업 현장 규모로 확장된 동일한 구조다. 자동화된 평가자(모델이 아님)가 어떤 결과가 살아남을지 결정하는 진화적 루프이며, 이 방식으로 도출된 결과 중 하나는 이미 1년 넘게 실제 서비스에 적용되고 있다. |
| 2026-07 | SEAL (arXiv:2607.24300) | Guo, Cao, Yuan, Wang, Wang, Wang | 실패를 정면으로 다룬다. 에이전트가 스스로 작성한 검증과, 에이전트가 접근할 수 없는 봉인된 감사 사이의 간극을 명확히 정의하고 측정한다. |
| 2026-08 | 사다리 (arXiv:2608.21156v2) | Feng, Xiang, Yang, Ma | 루프 엔지니어링은 다섯 계단 중 네 번째에 해당하며, 어떤 프레임워크가 구현하는지가 아니라 '무엇을 위해 존재하는가'로 정의된다. |
[DESIGN]여기서 두 가지를 짚고 넘어가야 한다. 표에서 가장 먼저 등장하는 루프, 즉 2022년의 self-consistency에는피드백이 아예 없다. 단순히 투표만 거친다. 이 점을 보면, 이후 등장하는 크리틱이 실제로 무언가를 한다는 모든 주장에 의심을 품게 된다. 그리고 인간이 미처 몰랐던 것을 실제로 찾아낸 두 시스템, FunSearch와 AlphaEvolve 역시 평가자가 실질적인 핵심 역할임을 별도의 설명 없이도 강조한다.
현재 이 분야를 이끄는 주체는 누구인가.Google DeepMind가 이 분야의 첨단을 주도한다. self-consistency, 자기 교정 비판, FunSearch, AlphaEvolve 모두 DeepMind 저자가 참여했고, 실무자들이 참고하는 정전은 각 연구소의 엔지니어링 블로그에서 나온다. 2026년의 가장 실질적인 연구는 화려함 대신 이런 질문을 던진다. '에이전트가 스스로 개선될 수 있는가'가 아니라 '조용히 더 나빠지는 것을 막는 장치는 무엇인가'다.
머릿속에 그려볼 비유는 패스트푸드 체인이다.
주방 사다리의 네 번째 계단은패스트푸드 체인이고, 여기서 새롭게 등장하는 동사가 있다.교정하다. 이제 당신은 직접 요리하지 않는다. 400개 매장을 거느리고 있고, 당신이 소유한 것은 '맛보고, 측정하고, 교정하고, 수정안을 전체 매장에 적용하는' 순환 구조다. 회사가 만든 음식 대부분을 직접 먹어볼 일은 없으니, '버거가 더 좋아졌다'는 기준을 정하고 그 판단이 모든 튀김기에 닿게 만드는 것이 당신의 역할이다.
이 업계라면 누구나 한 번쯤 겪는 실패가 있다. 매장 관리자들에게 자기 매장을 평가하게 하면, 점수는 언제나 훌륭하게 돌아온다. 분기마다 계속 그렇다. 그런데 문 앞 대기줄은 점점 짧아진다. 관리자가 거짓말을 하는 게 아니다. 평가 기준 자체가 버거를 만든 사람과 같은 머리에서 나왔으니, 문제를 알아차릴 주체가 바로 그 문제를 가진 존재다. 제대로 된 체인은 외부인을 보낸다. 미스터리 쇼퍼나 튀김유 온도계처럼, 매장이 손댈 수도, 설계할 수도 없는 도구다. 이 외부인을 가리키는 말이외부 검증자.
그리고 또 하나,가니시라는 것이 있다. 내부 점수는 올리지만 실제 제품 가치는 떨어뜨리는 요소다. 사진은 멋지게 나오지만 박스를 새게 만드는 추가 소스 같은 것이다. 누구도 부정행위를 한 것은 아니고, 지표가 그걸 보상한다. 세 번 반복되고, 결국 그게 핵심이었음이 드러난다.
| 계단 | 주방 | 당신의 역할 | 당신이 바꿀 수 있는 것 |
|---|---|---|---|
| 1. 프롬프트 | 레시피 카드 — 혼자 요리할 때 | 학생 | 요리사가 참고하는 글로 된 지침 |
| 2. 컨텍스트 | 식재료 저장 공간 — 가족을 위해 요리할 때 | 주니어 개발자 | 일하는 동안 조리대 위에 놓인 모든 재료와 도구 |
| 3. 하니스 | 레스토랑 주방 | 시니어 개발자 | 각 작업대, 손이 닿는 도구, 패스(음식이 오가는 통로) |
| 4. 루프 | 패스트푸드 체인 | AI 기술 리드 | 맛을 보고, 측정하고, 고치고, 모든 매장에 수정안을 적용한다 |
| 5. 그래프 | 전국 단위 공급망 | CTO | 여러 주방이 하나의 일정과 트럭으로 연결된다 |
| 6. 평가 | 회수 기록 | 최전선 책임자 | 전체 식품 시스템이 잘못된 결과에서 얻는 교훈 |
축은 하나가 아니라 두 개다. 그 표를 단순히 '사다리'처럼 올라가고 뒤에 남겨두는 구조로 보면, 이번 시즌 내내 경고한 범주 오류에 빠진다. 실제로 모든 주방에는 여섯 개의 계층이 한꺼번에 존재한다. 올라갈수록 달라지는 것은, 내가 직접 다룰 수 있는 계층의 수와 각 계층을 얼마나 엄격하게 운영하는가다. 처음에는 감각에 의존하다가, 점차 측정하고, 게이트를 두고, 마지막에는 자기 교정까지 이르게 된다. 각 공정은 계층 (명세, 상태, 제어 경계, 제어 흐름, 토폴로지, 진리 함수)이고, 숙련도는 성숙도다. 멋진 물류 다이어그램만 있고 온도계 하나 없는 공급망은, 모든 접시를 저울에 올려보는 단일 식당보다 성숙도가 낮다. 그래프가 루프보다 우위에 있는 것이 아니다. 게이트가 붙은 루프는 장식용 그래프보다 언제나 실질적이다. 이번 편은 바로 이 '게이트'가 실제로 어떤 비용을 요구하는지 다룬다. 비유는 논지를 소개할 수는 있지만, 증거가 되지는 않는다. 아래 지도에서 모든 요소는 코드의 특정 지점에 정확히 대응된다.
이 사다리는 내가 만든 것이 아니다
[정의] 용어는 각 출처에 고정되어 있다. 이 집합을 가장 명확하게 공식화한 것은 Feng 외 연구진의 서베이(arXiv:2608.21156v2, 2026-08-26 개정판)다. 이 논문은 네 개의 단계를 명명하고, 다섯 번째 단계를 추가로 제안한다. 루프 엔지니어링은 네 번째에 해당하며, 이 서베이가 직접 밝힌 목적에 대한 문구는 그대로 인용할 만하다:
"Prompt Engineering to elicit model capabilities, Context Engineering to manage information access, Harness Engineering to organize external tools and resources, and Loop Engineering to support continual reflection and self-improvement"(번역: 프롬프트 엔지니어링은 모델의 능력을 이끌어내고, 컨텍스트 엔지니어링은 정보 접근을 관리하며, 하니스 엔지니어링은 외부 도구와 리소스를 조직하고, 루프 엔지니어링은 지속적인 성찰과 자기 개선을 지원한다)
— Feng, Xiang, Yang & Ma, arXiv:2608.21156v2
[설계] 여기서 두 가지가 조용히 빠져 있다. 루프의 목적이 지속적인 성찰과 자기 개선임은 분명히 말하지만, 누가 성찰을 수행하는지, 무엇이 '개선'을 진짜 개선으로 만드는지는 언급하지 않는다. 이번 편에서 다루는 모든 실패는 바로 그 공백에서 비롯된다. 이 서베이는 이어서, 단일 에이전트가 결국 한계에 부딪힌다고 지적한다 — "exceeding any single agent's organizational capacity"(번역: 단일 에이전트의 조직적 역량을 초과함) — 이 부분이 바로 다음 편, 그래프 엔지니어링으로 넘어가는 문이다.
주장, 그 분류
[정의] 루프는 채점자가 생성기 바깥에 있을 때만 개선된다. 여기서 '바깥'에 있다는 것은, 생성기가 채점자를 직접 만들거나 수정할 수 없고, 자신이 평가받을 사례를 미리 볼 수도 없으며, 더 나은 결과를 내는 것 외에는 어떤 방법으로도 자신의 점수를 올릴 수 없다는 뜻이다.
[증거] 이 실험은 문헌에서 양쪽 방향 모두 시도되었고, 두 결과는 피드백의 출처를 확인하기 전까지는 서로 모순처럼 보인다. 먼저 부정적 결과부터 살펴보자. Huang 외( arXiv:2310.01798, ICLR 2024 표기 버전)는 그들이 내재적 자기 교정, 초록에서 다음과 같이 정의한다. "whereby an LLM attempts to correct its initial responses based solely on its inherent capabilities, without the crutch of external feedback."(번역: LLM이 외부 피드백이라는 지지대 없이, 오직 내재된 능력만으로 자신의 초기 응답을 교정하려 시도하는 경우를 의미한다.) 이 논문의 결론은 다음과 같다.
"In the context of reasoning, our research indicates that LLMs struggle to self-correct their responses without external feedback, and at times, their performance even degrades after self-correction."(번역: 추론 맥락에서, 우리의 연구는 LLM이 외부 피드백 없이 스스로 응답을 교정하는 데 어려움을 겪으며, 때로는 자기 교정 이후 성능이 오히려 저하된다는 점을 보여준다.)
— Huang et al., arXiv:2310.01798 (ICLR 2024)
이 논문 전체가 바로 이 한정 조건에 달려 있다. 외부 피드백이 없는 상태를 다룬다. 즉, "자기 교정은 효과가 없다"는 일반론이 아니라, 모델에게 스스로 답을 점검하게 했을 때 그 답이 괜찮다고 스스로 판단하는 바로 그 상황을 말한다.
[EVIDENCE] 이제 반대편의 긍정적 결과를 보자. Reflexion(arXiv:2303.11366)은 다음과 같은 에이전트를 보고한다. "verbally reflect on task feedback signals, then maintain their own reflective text in an episodic memory buffer to induce better decision-making in subsequent trials"(번역: 과제 피드백 신호에 대해 언어적으로 반성하고, 그 반성 내용을 에피소드 메모리 버퍼에 저장하여 이후 시도에서 더 나은 의사결정을 유도한다.) 그리고 다음과 같은 성과를 기록했다. "a 91% pass@1 accuracy on the HumanEval coding benchmark, surpassing the previous state-of-the-art GPT-4 that achieves 80%."(번역: HumanEval 코딩 벤치마크에서 91% pass@1 정확도를 기록하여, 기존 최고 성능인 GPT-4의 80%를 넘어섰다.) 실제 벤치마크에서 11포인트 차이는 결코 작은 수치가 아니다.
그렇다면 무엇이 다를까? Reflexion의 첫 문장에 답이 있다. Reflexion이 실험 환경으로 명시한 것은 "games, compilers, APIs"(번역: 게임, 컴파일러, API)다. 컴파일러는 의견이 아니다. Reflexion의 초록은 외부 신호와 내부 시뮬레이션 신호 모두를 언급하지만, "(external or internally simulated)"(번역: 외부 또는 내부적으로 시뮬레이션된) 피드백 중 91% HumanEval 성과는 외부 신호에 해당한다. HumanEval은 단위 테스트를 제공하기 때문이다. 여기서의 반성은 언어적 기록이고, 신호는 기계가 합격 또는 불합격을 알려주는 것이다. Reflexion은 외부 심판이 내려준 판정을 모델이 글로 남겨두고, 다음 번에 참고하는 구조다.
[EVIDENCE] Self-Refine(arXiv:2303.17651)는 더 어려운 사례다. 이 부분은 미화하지 않겠다. "uses a single LLM as the generator, refiner, and feedback provider"(번역: 하나의 LLM이 생성, 정제, 피드백 제공을 모두 맡는다), 외부 신호는 전혀 없다. "improving by ~20% absolute on average in task performance"(번역: 과제별 성능이 평균 약 20% 절대적으로 향상됨) 일곱 가지 과제 전체에서 이뤄진 결과다. 자기판정 루프가 실제로 효과를 낸 사례다.
[DERIVATION] 이 둘의 차이를 가르는 원칙은 실무에 바로 적용할 수 있다. Self-Refine의 일곱 과제는 논문 초록의 표현 그대로 "from dialog response generation to mathematical reasoning"(번역: 대화 응답 생성부터 수학적 추론까지)에 걸쳐 있다. 프로젝트 페이지에는 리뷰 리라이팅, 약어 생성, 스토리 생성, 코드 리라이팅, 응답 생성, 제약 조건 생성, 독성 제거가 포함되어 있고, 별도로 감정 반전, 수학적 추론, 코드 최적화 분석도 있다. 이 중 대부분은 평가자와 사용자가 같은 집단인 선호 기반 과제라, 평가가 곧 사실상 정답에 가깝다. 반면 Huang 등 논문은 오직 추론만 다루며, 여기서는 정답이 명확히 존재하고, 오답을 만든 주체가 그 오류를 잡아내야 한다. 진실이 선호에 가까운 경우에는 모델의 자기판정도 편향은 있지만 정당한 심판이 될 수 있다. 그러나 정답이 객관적으로 정해진 경우—예를 들어 증명이 타당한가, 코드가 실제로 실행되는가, 티켓이 올바른 큐로 라우팅되는가—에는 자기판정이 오히려 오류와 동조하게 되고, 루프를 돌릴수록 상황이 악화된다. 실제로 에이전트가 투입되는 거의 모든 현장은 이 두 번째 범주에 속한다.
[OPEN] 여기서의 한계는 분명하다. Self-Refine의 과제 집합에는 수학적 추론도 포함되어 있지만, 논문에서는 일곱 과제 전체의 평균(~20%)만 보고한다. 과제별 세부 수치는 확인하지 못했으므로, 이는 두 과제 집합을 비교한 독해일 뿐 Self-Refine의 성과를 과학적으로 분해한 결과는 아니다.
[EVIDENCE] 가장 강력한 확증은 비판 논문이 아니라, 루프를 활용해 새로운 결과를 찾아낸 두 시스템이다. FunSearch(Nature, 2023)은 "an evolutionary procedure based on pairing a pretrained LLM with a systematic evaluator"(번역: 사전학습된 LLM과 체계적인 평가자를 짝지은 진화적 절차)로, 새로운 cap-set 구성을 발견했다. 2년 뒤 AlphaEvolve는 "pairs the creative problem-solving capabilities of our Gemini models with automated evaluators that verify answers, and uses an evolutionary framework to improve upon the most promising ideas."(번역: Gemini 모델의 창의적 문제 해결 능력과 답을 검증하는 자동화 평가자를 결합하고, 진화적 프레임워크로 가장 유망한 아이디어를 개선한다) 그 결과는 실제 프로덕션에 적용되었다. 예를 들어, "continuously recovers, on average, 0.7% of Google's worldwide compute resources"(번역: 구글의 전 세계 컴퓨트 자원의 평균 0.7%를 지속적으로 회수한다)는 알고리즘과, Strassen의 1969년 결과를 넘어선 4×4 복소 행렬 곱셈(스칼라 곱 48회)이 있다. 두 팀 모두 모델을 개선의 주체로 보지 않았다. 모델은 제안만 하고, 평가자가 채택 여부를 결정한다.
[OPEN] 스텁으로는 보여줄 수 없는 부분이 있다. 숫자를 보기 전에 미리 밝혀둔다. 내 실험실은 구조— 루프가 어디서 탈선하고, 무엇이 그 흐름을 멈추는지, 무료 CPU로 1초 만에 확인할 수 있다. 이미 발표된 수치를 이 실험이 그대로 재현하지는 못한다. 여기서 나오는 어떤 숫자도 Huang et al.의 성능 저하, Reflexion의 91%, AlphaEvolve의 0.7%와 같은 실제 모델 기반 결과에 대한 증거가 아니다. 그런 수치는 논문에서만 인용할 수 있다. 이 스텁이 주는 건 오직 한 번에 하나의 변수다. 실제 모델을 돌리면 잡음이 너무 크고 비용도 만만치 않으니, 평일에 실험하기엔 부담스럽다.
1:1 기술 대응표
체인을 이루는 각 요소는 코드의 특정 지점에 정확히 대응한다. 장식만을 위한 부분은 없다.
| 체인 | 시스템 | 적용되는 위치 |
|---|---|---|
| 맛보기, 측정, 교정, 수정안 적용 | 루프: 후보 생성 → 평가 → 수락 또는 롤백 | run(scorer, rollback, budget) |
| 자신의 매장을 직접 평가하는 점장 | 내부 평가자 — 생성기가 스스로 내린 점수 | judge(x), LLM이 자기 출력을 직접 평가하는 호출 |
| 튀김기에 꽂힌 온도계 | 외부 오라클 — 고정되어 있고, 쓸 수 없으며, 미리 볼 수 없는 것 | truth(x)(실제 예: 테스트 스위트, 컴파일러, 채점 기준표) |
| 장식(가니시)— 겉보기엔 더 좋아 보이지만, 실제로는 상품성을 떨어뜨림 | 측정 점수는 올리지만 실제 품질은 낮추는 요소 | 리워드 해킹(보상 함수에 실제 목표와 무관한 항목이 들어감) |
| 항상 우수하게 나오는 분기별 보고서 | 보고된 점수와 실제 성능이 점점 벌어지는 현상 | 검증자–배포 간극(SEAL, arXiv:2607.24300) |
| 매장을 더 나쁘게 만든 변경은 배포하지 않음 | 회귀 발생 시 롤백 | accept iff score(new) >= score(current) |
| 무슨 일이 있어도 밤 11시에는 주방 문을 닫는다 | 최대 반복 횟수 예산 | 정지 기준—'충분해 보인다'에서 멈추는 일은 없다 |
| 각 매장이 남기는 점검 기록 | 원장 | ledger.csv, 제안된 단계마다 한 줄씩, 실제로 기록됨 |
| 체인에서 별도로 고용한 위생 검사관 | 에이전트가 직접 수정할 수 있는 심판 | 직접 작성한 테스트—SEAL이 측정하는 실패 |
| "입맛에 맞게 조절"(시즌 7, 1화) | 제약 없는 단계 | 1단에서는 결정성을 잃고, 4단에서는 방향성을 잃는다 |
[정의]이후 본문에서 반복적으로 등장하는 네 가지 용어를 한 번에 정리한다.
- 수용 단계 단조성— 루프가 채택한 단계 중 외부 점수를 떨어뜨리지 않은 비율. 목표는 1.000이며, CI에서 검증 가능하다. 거부된 제안은 퇴보가 아니라 시스템이 제대로 작동했다는 신호다.
- 리워드 해킹 비율— 채택된 단계 중, 측정 점수는 올랐지만 실제 점수는 떨어진 비율. 즉, 지표가 손해를 보상한 경우다.
- 검증자–배포 간극— 시스템이 스스로 검증한 결과와, 시스템이 볼 수 없는 봉인된 평가(SEAL, arXiv:2607.24300) 사이의 거리.
예측 게이트
아래로 내리기 전에, 예측을 미리 적어둔다—적지 않은 예측은 나중에 자신이 맞았다고 착각하게 된다. 루프는 수정안을 제안하고, 점수를 매기고, 점수가 올랐으면 채택하며, 이 과정을 30번 반복한다. 실제 품질은 숨겨져 있고, 점수 매기는 이는 그 품질에 더해 생성기가 쉽게 조작할 수 있는 한 가지 요소의 작은 편향이 섞여 있다.
Q1.30번 반복한 뒤, 시스템은 처음보다 실제로 나아졌을까? 그리고 루프가 보고하는 수치는 실제보다 높을까, 낮을까?
Q2.이제 편향된 평가자를 완벽한 외부 오라클로 바꾸고, 나머지는 그대로 둔다. 루프는 여전히 모든 제안을 받아들인다. 결과는 어떻게 될까?
Q3.최종 실제 점수를 얼마나 올리는지 기준으로 순서를 매겨보자. (a) 내부 판정자를 외부 오라클로 바꾸기, (b) 리그레션 발생 시 롤백 추가, (c) 반복 예산을 네 배로 늘리기.
정답은 노트북과 실패 사례 방에 있다.
실패 사례 방
일부러 망가뜨려보라. 고장낼 수 없는 메커니즘은 그저 주장일 뿐, 진짜 메커니즘이 아니다.
실패 1 — 말을 듣지 않는 심판.{내부 판정, 외부 오라클} × {모든 제안 수락, 리그레션 시 롤백}의 2×2에서, 두 '모든 제안 수락' 행은 실제 점수와 리그레션 수가 완전히 같다. 20개 시드 평균 82.2점, 리그레션 13.00회다. 모든 제안을 받아들이는 루프는 점수를 아예 읽지 않으니, 오직 보고하는 숫자만 다르다(자체 판정은 104.2, 오라클은 82.2). 실제로 많은 프로덕션 '자기개선' 시스템이 이렇다. 훌륭한 평가자가 대시보드에 연결되어 있지만, 그 아래에서 '아니오'라고 말할 수 있는 장치는 없다.
실패 2 — 가니시.실험실의 제너레이터는 실제 품질을 4점 깎고 자기 점수는 6점 올려주는 값싼 속성 하나를 조작한다. 누구도 어디에도 '치트'라고 쓰지 않았다. 20개 시드에서 자체 판정 루프는 평균 10점 만점에 5.10의 가니시로 끝나고, 실제보다 30.6점 높게 보고한다. 오라클 게이트 루프는 가니시 0.00으로 끝난다. 리워드 해킹이란 목표가 아닌 항목에 점수를 남겨두었을 때 탐색이 저지르는 일이다.
실패 3 — 에이전트가 직접 고칠 수 있는 판정자.SEAL(arXiv:2607.24300)은 명확히 밝힌다. 에이전트가 최적화 대상과 그 검증자 모두를 통제할 때,"self-assigned scores can remain near perfect while real deployment performance degrades or stays low."(번역: 자기 점수는 거의 완벽하게 유지되지만 실제 배포 성능은 악화되거나 낮은 상태로 남을 수 있다.)이들이 내린 결론이 곧 벽에 붙일 규칙이다."Reliable self-improvement need not abandon self-verification, but it requires at least one deployment-acceptance signal outside the agent's control."(번역: 신뢰할 수 있는 자기개선은 자기검증을 완전히 버릴 필요는 없지만, 최소한 하나 이상의 배포-수용 신호가 에이전트의 통제 밖에 있어야 한다.)최소 하나면 된다. 전부일 필요는 없다.
실패 4 — 옳지만 느린 루프.시드 7(단일 실행, 20개 시드 평균 아님)에서, 게이트 루프의 수용된 단계당 이득은 예산 10에서 19.0에서 예산 60에서 7.8로 떨어진다. 실제 점수는 60에서 200점 천장에 도달하고, 120에서는 더 이상 오르지 않는다. 이때도 루프는 계속 제안하고 롤백을 96번 반복한다. 예산은 안전장치가 아니라, 어디까지 할지 정하는 경제적 선택이다.
실패 5 — 내 사례, 그리고 내가 거의 배포할 뻔한 것.실험실의 기본 시드는 7이다. 숫자가 예뻐서 처음에 그냥 쳤다. 20개 시드 중 유일하게 자체 판정 루프가 가니시에 손을 대지 않는 경우가 바로 시드 7이고, 그래서 오라클 게이트와 정확히 같은 결과에 도달한다. 내부에서 멀쩡해 보이는 자체 판정 루프에 대한 에피소드를 만들었는데, 대표 예시가 바로 그들과 일치한 단 한 번의 실행이었다. 측정받는 대상이 측정 기준을 고르게 두지 마라.
Q3의 답:(b), 그다음 (a), 그다음 (c) 순이다. 자체 판정 루프에 롤백을 추가하면 실제 점수 +45.2점(82.2 → 127.4) 가치가 있다. 롤백이 된 상태에서 판정자를 오라클로 바꾸면 추가로 +21.8점(127.4 → 149.2) 오른다. 예산을 네 배로 늘리는 것은 천장에 닿기 전까지만 의미가 있다.복종이 먼저, 정확도는 그다음이다.아무도 따르지 않는 완벽한 심판은 실제로 0의 가치밖에 없다. 이것이 실패 1의 산술적 결론이다.
노트북
labs/04_loop_referee.ipynb · Colab 무료 버전 · API 키 필요 없음 · 표준 라이브러리만 사용하며, CPU 1초 이내 소요 · 모든 셀은 글 작성 전에 실행을 마쳤다.
코드는 모두 아홉 셀로 이루어진다. 과제는 여섯 개의 조절값(노브)으로 구성된 '레시피'이며, 루프가 시작되기 전에 고정된 함수로 채점된다. 이 함수는 루프가 직접 바꿀 수 없다. 다섯 노브는 실제 품질을, 여섯 번째는 가니시다. 이 가니시는 실제 점수에서 4점을 깎고, 자기평가 점수에는 6점을 더한다. 리워드 해킹이란 바로 이 네 줄로 요약된다. 여섯 노브는 각각 0~10 사이 값을 가진다. 각 셀은 두 평가자, 루프, 2×2 조건, 수렴 과정, 20개 시드의 대표 결과, 시드 12 (셀 D — 시드 7은 20번 중 유일하게 가니시에 손대지 않는 경우), 불변 조건, 예산 변화, 모든 시드, 그리고 브릿지: 두 함수를 바꿔주면 동일한 측정이 실제 모델에도 적용된다.
[EVIDENCE]실행 결과. 20개 시드, 예산 30, 과제와 제안 분포는 모두 동일하다.
arm final truth it reports regressions hack rate garnish
judge + accept-all 82.2 104.2 13.00 0.125 3.65
judge + rollback 127.4 158.0 3.35 0.217 5.10
oracle + accept-all 82.2 82.2 13.00 0.000 3.65
oracle + rollback 149.2 149.2 0.00 0.000 0.00
runs with ZERO accepted regressions, out of 20:
judge + accept-all 0 / 20 (worst run: 18 regressions)
judge + rollback 1 / 20 (worst run: 6 regressions)
oracle + accept-all 0 / 20 (worst run: 18 regressions)
oracle + rollback 20 / 20 (worst run: 0 regressions)
두 번째 열을 주목하라. 자기평가 루프는 실제로 127.4점짜리 작업을 158.0점이라고 보고한다.이것은 거짓이 아니고, 고장도 아니다. 루프는 자신이 가진 유일한 계측기를 쓸 뿐이고, 그 계측기에는 한 가지 편향이 들어 있다.
[DERIVATION]팀에 남길 한 줄은 이렇다. 수용된 단계 단조성만이 루프에서 1.000으로 유지할 수 있는 유일한 속성이다.루프가 반드시 수렴하거나, 좋은 방향으로 수렴한다고 장담할 수는 없다. 하지만 수용한 단계가 측정된 대상을 악화시키지 않았다는 것만은 보장할 수 있다. CI에서 바로 확인 가능하며, 자기평가 루프 20회 중 19회에서 이 조건이 깨진다.
프로젝트
완전히 처음부터 만든 두 가지 예시다. 표준 라이브러리만 사용하고, API 키도 필요 없다. 이 섹션을 쓰기 전에 모두 실행했고, 모든 숫자는 실제 측정값이다.
프로젝트 1 — 실제 사례the-taste-test
projects/04-real-taste-test/ · python3 measure.py
엉망으로 짜인 일주일 공부 계획. 열 개 블록 중 세 개는 긴 수학, 복습은 전혀 없다. 리파이너가 한 번에 하나씩 수정안을 제안하고, 그 수정이 도움이 되었는지 판단하는 기준은 두 가지다. 하나는 리파이너 자신의 의견, 다른 하나는 루프 시작 전에 미리 작성한 결정적 루브릭이다. 다섯 과목을 모두 포함하고, 540~660분 범위, 같은 과목이 연속되지 않으며, 복습은 마지막에, 한 블록은 90분을 넘지 않는다. 리파이너의 루브릭은 이 규칙에서 한 가지(90분 제한, 세 시간 연속이 헌신처럼 보여서)를 빼고, 모든 플래너가 공유하는 한 가지 편향(시간=미덕)을 더한 것이다. 이 편향을 증명하려고 설계한 게 아니라, 실제로 내가 공부 주간을 어떻게 평가하는지 묻고 자기평가자를 썼다.
scorer mean rubric mean reported non-monotone accepts clean runs
the refiner itself 72.2 126.7 3 / 179 17 / 20
the external rubric 78.2 78.2 0 / 413 20 / 20
[EVIDENCE] 수용된 413단계 중 외부 점수를 떨어뜨린 경우는 단 한 번도 없었다.자체 평가 루프는 실제로는 72.2점짜리 한 주를 126.7점으로 착각하며, 660분짜리 계획을 세운다. 반면 게이트 루프는 612분으로 잡는다. 즉, 일주일에 48분을 더 계획하지만 실제로는 그만큼 하지 않는다. 그리고 내가 예상하지 못했던 장면이 펼쳐진다. 두 루프 모두 반복을 더 돌릴수록 그 차이가 점점 더 벌어진다.
iterations self rubric self reports gated rubric self non-monotone
25 72.2 126.7 78.2 3
50 79.3 133.8 88.8 3
100 83.5 138.0 96.0 3
200 87.3 141.8 104.3 3
반복을 25번 돌리면 게이트 루프가 6.0점 앞서고, 200번까지 늘리면 그 격차가 17.0점까지 벌어진다. 이때 자체 평가 루프는 실제로는 87.3점짜리 작업을 141.8점으로 착각한다.반복 횟수를 늘린다고 해서 잘못된 심판이 고쳐지지 않는다. 오히려 그 오류가 누적된다.루프가 성능이 안 나올 때 반복만 늘리면 해결된다고 믿는 본능과는 정반대의 결과다.
두 번째 사례, 기업 환경.the-release-loop
projects/04-enterprise-release-loop/ · make measure · make gate · make sweep
월요일에 지원 티켓 라우팅 테이블이 배포된다. 그런데 11개 규칙 중 6개가 잘못된 큐를 가리키고 있다. 수리 루프는 한 번에 하나씩 규칙을 수정해본다. 매번 제안이 나오면, 미리 고정된 60개짜리 골든 테스트 세트를 전부 돌린다. 이 세트는 루프가 절대 수정할 수 없다. 초록(통과) 개수가 줄지 않았을 때만 그 수정을 받아들이고, 아니면 롤백한다. 반복 예산 25가 종료 조건이고, 모든 단계는ledger.csv에 기록된다. 루프는 각 케이스를 직접 보지 않고, 초록이 몇 개 나왔는지만 확인한다.
[EVIDENCE]한 변수만 바꿔서, 각각 20개 시드로 실험했다.
rollback ON rollback OFF
mean final green 42.6 / 60 9.6 / 60 (baseline 30 / 60)
worst final green 36 / 60 0 / 60
accepted steps that LOWERED 0 of 206 142 of 500
runs with zero such steps 20 / 20 0 / 20
제안도, 예산도, 테스트 세트도 모두 같다. 심판을 따르면 서비스는30 → 42.6까지 올라가고, 심판을 무시하면30 → 9.6까지 곤두박질친다. 이 결과는 애초에 고치러 들어간 망가진 테이블보다도 훨씬 못하다. 어떤 시드는 60개 중 0개만 통과하기도 한다. 이건 루프가 아무 효과도 없었던 게 아니라, 142번의 회귀를 내보내면서도 내내 진전이 있다고 착각한 경우다. 대시보드에는 "iterations completed"(반복 완료)로 표시된다.
[DESIGN]게이트는 세 가지 체크로 구성되며, 마지막 세 번째가 앞의 두 가지에 실제 의미를 부여한다.
$ make gate
G1 no accepted step lowers the suite score : PASS (0 violations in 206 accepted steps, 20 seeds)
G2 final green never below baseline : PASS (0 runs below baseline)
G3 negative test — rollback removed must go red: PASS (142 violations with --no-rollback)
GATE PASS - exit 0
$ make gate ROLLBACK=off
G1 no accepted step lowers the suite score : FAIL (142 violations in 500 accepted steps, 20 seeds)
G2 final green never below baseline : FAIL (20 runs below baseline)
GATE FAIL - exit 1
G3는 이 포트폴리오의 ANDON 규칙에서 가져온 것으로, 저장소에서 유일하게 '빨간 빌드'가 결과물로 남는 라인이다. 한 번도 빨간 불이 들어오지 않은 게이트는, 사실상 없는 것이나 다름없다.
[OPEN]두 프로젝트 모두 증명하지 못한 부분이 있다. 두 골든 세트 모두 합성 데이터이고, 제안자도 모델이 아니라 시드된 랜덤 수정이다. 이 엔터프라이즈 빌드의 솔직한 상태는실행 가능하고 게이트가 적용된 상태일 뿐,실제 배포되어 현장에서 측정된 상태는 아니다. 그리고 예산을 늘려가며 돌려보면 가장 중요한 한계가 드러난다. 예산 200에서 테스트 세트는 60개 중 60개가 초록이지만,20번 중 3번만이 진짜 올바른 라우팅 테이블을 복원했다. 모든 케이스가 초록인 테스트 세트는 올바른 서비스와는 다르다. 그저 검증 가능한 최선의 대리물일 뿐이고, 이 간극 때문에 6화가 평가를 다루게 된다.
30분 만에 만드는 계약서
입력값은 상태와 제안자이며, 출력은 새로운 상태와 ledger의 한 행이다. 불변 조건은 승인된 단계가 외부 점수를 떨어뜨리지 않는다는 점이다. 중단 규칙은 반복 예산이며, '충분해 보일 때' 멈추는 일은 없다.
SCORE = suite.run # EXTERNAL: fixed before the loop, not writable by it,
# cases not visible to the proposer, returns one number
def loop(state, budget): # the budget IS the stop rule
best = SCORE(state)
for step in range(budget):
cand = propose(state) # a model, a mutation, a patch — swappable
score = SCORE(cand) # run the WHOLE oracle, every step, no sampling
keep = score >= best # non-regression, not improvement: plateaus are legal
ledger.append(step, cand, best, score, "accept" if keep else "rollback")
if keep:
state, best = cand, score
return state, ledger
# CI gate (make gate), over 20 seeds:
# accepted steps that lowered SCORE == 0 (accepted-step monotonicity)
# final SCORE >= baseline
# NEGATIVE TEST: with `keep = True`, the first assertion must FAIL
# any line below threshold → exit 1 → the build fails
일부러 넣지 않은 요소가 있다. 제안자가 내는 품질 신호(이 신호가 생성자를 다시 채점자 내부로 끌어들인다), 오라클의 부분 점수(수렴은 빨라지지만 과적합도 빨라진다), stop-on-green(생성자가 스스로 휘슬을 부는 것), 그리고 실제 모델(교체 propose).
[DESIGN]이 구조가 단순 데모가 아니라 엔터프라이즈에 가까운 이유는 세 가지다.
- 향상보다 비퇴보(non-regression)를 우선한다.
>=대신>점수만 유지해도 퇴보는 아니므로, 대부분의 단일 수정이 중립적인 환경에서 루프가 평탄면을 넘을 수 있다. 비용도 들지 않는다. - 오라클 전체가 매 단계마다 실행된다.시간을 아끼겠다고 테스트 세트를 일부만 샘플링하면, 그 노이즈가 승인 결정에 다시 들어오고, 그 노이즈가 바로 제거하려던 실패다.
- ledger는 단순 로그가 아니라 커밋된다그리고 오라클은 의도적으로 스칼라 값을 반환한다. 더 풍부한 신호는 수렴을 빠르게 하지만, 제안자에게 채점자의 지도를 넘겨주게 되고, 그 길 끝에는 결국 '가니시'가 기다린다.
선행 사례: 동일한 불변 조건이 Loop Engineering: Build the Loop That Catches You의 뼈대이고, 실제 운영에서는 기계 게이트를 그대로 붙이고 AI가 다시 판정하지 않는 것이 AI PR Review That Cannot Lie의 첫 번째 원칙이다. 둘 다 이 글보다 먼저 나왔고, 이 글은 그 원칙을 실제로 측정한 것이다.
같은 뼈대, 다섯 갈래의 출구
하나의 뼈대에서, 각 독자에게 열리는 문이 다르다.
| 당신이 누구냐에 따라 | 이 글이 바꾸는 결정 | 이번 주에 할 수 있는 한 가지 |
|---|---|---|
| 고등학생 빌더라면 | '스스로 개선된다'는 말은, 시스템 바깥에서 누군가 점수를 매기고 있다는 뜻이다. 그렇지 않으면 그저 자신감만 커진다. | Colab 실험실을 한 번 돌려보고(1초, 키 필요 없음), 패스트푸드 체인 비유를 친구 한 명에게 설명해보라. |
| AI 엔지니어 | 정확도보다 복종이 먼저다. 아래에서 거부할 수 없는 평가자는 아무리 정밀해도 아무 소용이 없다. | 당신이 관리하는 루프 하나에 롤백-온-리그레션과 음수 테스트를 추가해보라. 20개 시드에서 게이트를 걸어 실험하라. |
| 창업자 | "우리 에이전트는 피드백으로부터 학습한다"는 말은, 그 피드백이 에이전트가 직접 쓸 수 없는 것일 때만 진짜 방어막이 된다. | 팀에게 루프의 심판이 무엇이고, 누가 그 심판을 바꿀 수 있는지 물어보라. 답이 "모델"이라면, 그게 바로 결론이다. |
| 임원 | 스스로 만든 지표로 개선을 보고하는 시스템은 끝없이 좋아졌다고 말할 것이다. 그 보고서는 증거가 아니다. | 자동 적용되는 변경이 배포되기 전, 시스템 바깥의 승인 신호가 반드시 하나는 있어야 한다. |
| 투자자 | 에이전트 회사에서 진짜 방어가 되는 자산은 오라클—골든셋, 하니스, 라벨링된 이력—이지, 그 주위를 도는 루프가 아니다. | 어떤 에이전트 스타트업이든 원장을 보여달라고 하라. 승인된 단계, 롤백, 그리고 평가자가 누구 소유인지까지. |
현실 점검
15분만 투자해, 당신이 실제로 돌리는 무언가에서 직접 해보라.
- 당신이 이미 쓰고 있는 루프 하나를 찾아보라. 재시도, 크리틱 패스, "재생성" 버튼, 야간 규칙 재작성 작업 등 무엇이든 좋다.
- 그 루프의 평가자가 누구인지 직접 말로 뱉어보라. 두 번째 시도가 더 나았는지 누가 결정하는가? 답이 "모델"이거나 "아무도, 우리는 마지막 결과만 쓴다"라면, 바로 그걸 찾은 것이다.
- 외부에서 점수를 매길 수 있는 대상을 적어보라. 테스트 스위트, 컴파일러, 다섯 가지 규칙의 루브릭, 일주일치 과거 결과 등 무엇이든 좋다. 완벽할 필요는 없다. 중요한 건 바깥에 있다는 점이다.
- 한 줄만 추가하라. 그 점수가 떨어지지 않은 경우에만 새 버전을 채택한다. 거절된 제안까지 모든 시도를 기록하라.
- 20번 반복해서, 점수를 낮춘 채택 단계가 몇 번 나오는지 세어보라. 0이 아니라면, 당신의 롤백은 어디에도 연결되어 있지 않다.
2단계에서 아무것도 나오지 않는다면, 루프 자체가 없는 것이다. 당신은 3단계에 머물러 있고, 시스템이 개선된다는 모든 주장은 사실 당신이 손으로 개선했다는 뜻이다.
연구 과제
이 실험을 에이전트에게 맡기고, 예측을 미리 적어두라. 예상하지 못한 결과는 반드시 합리화하게 된다.
검증 가능한 출력이 있는 실제 모델로 하나의 작업을 골라라. 30회 반복, 20개 시드로 기준선을 만든 뒤, 두 가지 축을 바꿔본다: 평가자(모델 자기평가 · 고정 외부 오라클 · 오라클+모델 크리틱)와 승인 규칙(모두 승인 · 리그레션 시 롤백 · 신뢰도 마진과 함께 롤백). 9개 조합 각각에 대해 최종 실제 점수, 승인 단계 단조성, 리워드 해킹 비율, 토큰 비용을 기록하라.
사전 예측 등록 어떤 요인이 실제로 더 큰 영향을 미치는지, 그리고 이미 작동 중인 오라클에 모델 크리틱을 추가하면 성능이 더 좋아지는지, 오히려 해가 되는지까지 미리 적어두라.
내 실험 스텁에서는 수용 규칙이 스코어러보다 효과에 더 크게 작용했다(+45.2 대 +21.8). 하지만 실제 모델에서는 내부 판정기의 노이즈가 고정된 낙관적 편향보다 훨씬 크기 때문에, 이 결과가 그대로 옮겨질 거라 장담하지 않는다. 만약 다른 순서가 나온다면, 그 자체로 이 글과 출판 가능한 이견이 된다.
최근 동향
이 단계의 최신 상황은, 30개 선구적 소스의 실시간 주간 피드에서 기술적 신호 기준으로만 추려 정리했다.research-anything (make watch-sync아래 모든 항목은 arXiv 초록 페이지에서 직접 확인했다. 대중성 기준은 전혀 반영하지 않았다.
동기화 기준일: 2026-09-11.
- arXiv:2608.17018 (2026-08-17) — ORCA: Observability-Grounded Program Repair for Microservice Incidents. 575개 사례에서 패치의 유효성, 정확성, 테스트 오라클 무결성, 텔레메트리 재생을 각각 분리해 검증하는 Telemetry-Grounded Patch Verifier가 심판 역할을 하는 루프다. 네 가지 검증 가능한 기준이 명확히 분리되어 있다.
- arXiv:2608.21156v2 (2026-08-26 개정) — 루프 엔지니어링을 네 번째 단계로 정의하고, 본 시리즈의 계단 구조의 출처가 된 설문 논문.
- arXiv:2608.26530 (2026-08-27) — PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents. 별도의 감독자가 실행 중인 워커를 중간에 리디렉션하거나 중단할 수 있도록 설계된 감독자–워커 구조다. 핵심은 작업자와 평가자가 서로 다른 컨텍스트에 존재하도록 분리했다는 점이다.
- arXiv:2609.11873 (2026-09-10) — The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement. 마감 시점 기준으로 발표된 지 하루 된 논문. 개선 실행부터 재귀적 메타-개선까지 자율성 단계를 로드맵으로 제시한다. 현장이 지향하는 바를 보여주지만, 아직 실측된 결과는 아니다.
- 이전이지만 기반이 되는 논문들arXiv:2607.24300 (2026-07-27) — SEAL, 본문에서 두 차례 인용됨; arXiv:2608.05810 (2026-08-06) — When Self-Evolution Backfires, 기술 축적이 임계 풀 크기를 넘어서면 단조롭게 증가하지 않으므로, 입장 단계에서 사전 커밋 게이트가 필요함을 보였다; arXiv:2608.10502 (2026-08-11) — 의존성 기반 롤백 복구, 동일한 불변 조건을 영구 메모리에 적용한 사례이다.
[OPEN] 달라지지 않은 점이 있다. 위 Research Challenge에서 요구한 대로, 스코어러 위치와 수용 규칙을 교차 적용하고 실제 모델에서 비용까지 측정한 깔끔한 요인 분해 실험은 아직 아무도 발표하지 않았다. 현장은 결론을 이미 내면화했지만, 실제로 어느 쪽이 효과를 내는지 분리해내는 ablation 결과는 출판된 바 없다.
확인 문제
위로 다시 올라가지 말고 답해보라.
- Reflexion은 큰 성과를, Huang 등은 성능 저하를 보고했다. 이 둘을 어떻게 구분해야 조화가 되는지 설명하고, Reflexion 초록에 언급된 환경을 모두 적어보라.
- 2×2 표에서 '모두 수용' 두 행의 실제 점수가 같은 이유는 무엇이며, 이 사실이 대시보드에 연결된 평가자에 대해 시사하는 점은 무엇인가?
- accepted-step monotonicity란 무엇이며, 왜 수용된 단계에 대해 정의되는가? 제대로 동작하는 루프에서 이 값은 얼마가 되어야 하는가?
- Self-Refine은 자기판정 루프임에도 효과가 있었다. 언제 모델 자신의 판단이 정당한 심판이 될 수 있는가? 그리고 실제로 배포하는 시스템이 그 조건을 거의 충족하지 못하는 이유는 무엇인가?
- 테스트 스위트가 60개 중 60개를 통과했다. 이것만으로 '서비스가 올바르다'고 단정할 수 없는 이유를 두 가지 들어보라.
다음 화 예고
심판을 만든다. 생성기 바깥에 두고, 쓸 수도 없고 미리 볼 수도 없으며, 퇴보가 생기면 반드시 롤백하고, 밤 11시에 주방을 닫는 예산을 두고, 거절된 제안까지 모두 기록하는 원장을 남긴다.make gate exits 0, 그리고 그날 오후만큼은 개선 문제를 해결했다고 믿게 된다.
하지만 곧 더 많은 일을 맡긴다. 더 어려운 일이 아니라, 양이 늘어난다. 네 곳이 마흔 곳이 되고, 9밀리초 걸리던 스위트가 9분이 걸린다. 가격 서비스, 인증 서비스, 그리고 5월 이후 아무도 손대지 않은 무언가까지 손을 댄다. 이제 루프가 밀리기 시작한다. 심판이 나빠진 게 아니라, 심판은 하나, 그 앞에 일꾼도 하나, 그 뒤의 대기열이 이제 회사 전체가 되었기 때문이다.
이 설문은 이 상황을 한 문장으로 예견했다. 그 일은 "exceeding any single agent's organizational capacity"(번역: 단일 에이전트의 조직적 수용 능력을 초과하는) 문제다. 지능의 한계가 아니라, organizational capacity — 즉, 한 번에 한 존재가 감당할 수 있는 일의 양이다.
그리고 '가니시'는 사라지지 않았다. 자리를 옮겼을 뿐이다. 열두 명의 에이전트 중 한 명이 나머지가 읽을 요약을 쓸 때, 점수를 올리는 값싼 특성은 더 이상 소스가 아니다. 이제 그것은 '자신감 넘치는 문장'이 된다.
다음 편 — 그래프 엔지니어링.주방이 여러 곳이고, 일정은 하나, 트럭도 한 대로 움직인다. 그리고 에이전트 사이의 연결선이야말로 진짜 설계이고, 각 페르소나는 단지 역할극의 의상에 불과하다는 사실을 알게 된다.
이어지는 추천
4화 — Intelligence Engineering Adventures, 시즌 7 — 주방 사다리주장마다 정의, 도출, 증거, 엔지니어링 선택, 열린 질문 등으로 분류되어 있다. 은유는 논지를 소개할 수 있지만, 증거로 삼지 않는다. 각 화마다 Colab 무료 티어에서 API 키 없이 바로 실행되는 노트북과, 처음부터 만든 두 개의 애플리케이션(개인용 하나, 엔터프라이즈형 하나)이 함께 제공된다. 다섯 단계 사다리는 Feng 외(arXiv:2608.21156)가 제시한 것이며, 여섯 번째 단계인 평가 엔지니어링은 이번 시즌의 독자적 주장이다. 'What moved'는 30개 선구적 소스의 실시간 주간 피드에서 기술적 신호만으로 순위가 매겨진다(대중성은 고려하지 않는다). 이 글에는 어떤 고용주나 클라이언트의 자료도 포함되어 있지 않다. — Paul Jialiang Wu · futuremake.io
참고문헌
- Huang, J., Chen, X., Mishra, S., Zheng, H. S., Yu, A. W., Song, X., Zhou, D. (2023–2024). Large Language Models Cannot Self-Correct Reasoning Yet. arXiv:2310.01798, 2024-03-14 버전 2, 초록 페이지에 ICLR 2024로 표시됨. — 아티팩트 판독: arXiv 초록 페이지; 두 인용문("intrinsic self-correction… without the crutch of external feedback" 및 "struggle to self-correct… performance even degrades")은 모두 원문 그대로임.
- Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K., Yao, S. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. arXiv:2303.11366, v4. — 아티팩트 판독: arXiv 초록 페이지; 에피소드 메모리 문장, "games, compilers, APIs" 목록, 91%/80% HumanEval 수치는 모두 원문 그대로 인용. 또한 "(external or internally simulated)"도 원문 그대로 인용.
- Madaan, A., Tandon, N., Gupta, P. et al. (2023). Self-Refine: 자기 피드백을 활용한 반복적 개선. arXiv:2303.17651, v2. — arXiv 초록 페이지에서 확인함. "a single LLM as the generator, refiner, and feedback provider"(번역: 하나의 LLM이 생성, 개선, 피드백 제공을 모두 맡는다)와 "~20% absolute on average"(번역: 평균 약 20%의 절대적 성능 향상)는 모두 원문 그대로 인용함. "from dialog response generation to mathematical reasoning"(번역: 대화 응답 생성부터 수학적 추론까지)의 범위 역시 초록에서 그대로 인용함. 과제 목록(리뷰 재작성, 약어 생성, 스토리 생성, 코드 재작성, 응답 생성, 제약 조건 생성, 독성 제거, 감정 반전/수학적 추론/코드 최적화 분석)은 프로젝트 페이지 selfrefine.info에서 2026-09-11에 확인함. 해당 명칭들은 초록에는 없으며, 논문 본문은 읽지 않음.
- Romera-Paredes, B. 외 (2023). 대형 언어 모델 기반 프로그램 탐색을 통한 수학적 발견. Nature, doi:10.1038/s41586-023-06924-6, 2023-12-14 게재. — nature.com의 무료 초록에서 확인함. "an evolutionary procedure based on pairing a pretrained LLM with a systematic evaluator"(번역: 사전학습된 LLM과 체계적 평가자를 짝지은 진화적 절차)은 원문 그대로 인용함. 논문 본문은 읽지 않았으며 인용하지 않음.
- Google DeepMind, AlphaEvolve 팀 (2025-05-14). AlphaEvolve: 첨단 알고리즘 설계를 위한 Gemini 기반 코딩 에이전트. deepmind.google. — 블로그 게시글에서 확인함. "automated evaluators that verify answers"(번역: 답변을 검증하는 자동화된 평가자) 문장, 전 세계 컴퓨트 자원의 0.7% 수치, 48-스칼라 곱셈 결과는 모두 원문 그대로 인용 또는 직접 전사함. 블로그에서는 실제 1년 넘게 운영된 것은 AlphaEvolve 자체가 아니라 AlphaEvolve가 찾아낸 Borg 스케줄링 휴리스틱임을 명시함. 첨부된 white paper PDF는 참고하였으나 여기서는 인용하지 않음.
- Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A., Zhou, D. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. arXiv:2203.11171, v4, ICLR 2023. — 2022년의 전환점: 피드백 없이 투표만으로 동작하는 루프.
- Zelikman, E., Wu, Y., Mu, J., Goodman, N. D. (2022). STaR: 추론으로 추론을 부트스트랩하기. arXiv:2203.14465, v2. — 정답 필터를 사용하는 루프.
- Feng, Y., Xiang, Z., Yang, C., Ma, Q. et al. (2026). LLM 에이전트 시대의 그래프 엔지니어링: 개별 지능에서 시스템 지능으로. arXiv:2608.21156v2, 2026-08-26 개정. — 5단계 사다리와 "Loop Engineering to support continual reflection and self-improvement"(번역: 루프 엔지니어링은 지속적인 성찰과 자기 개선을 지원한다) 문구, 그리고 "organizational capacity"(번역: 조직적 역량) 표현이 모두 초록에서 그대로 인용됨.
- Guo, D., Cao, C., Yuan, F., Wang, Y., Wang, Y., Wang, D. (2026). 휴리스틱 자기개선 에이전트에서 자기작성 검증의 신뢰성 한계. arXiv:2607.24300, 2026-07-27. — 검증자–배포 간극과 Sealed Exogenous Acceptance Loop(번역: 봉인된 외부 승인 루프); 두 인용문 모두 초록에서 그대로 인용.
- Shang, L., Xu, M., Sun, Y. et al. (2026). 자기 진화의 역효과: LLM 에이전트의 스킬 오염을 막기 위한 사전 게이트 적용. arXiv:2608.05810, 2026-08-06. — 인용 없이 서술: 임계 풀 크기 이후 비단조적 스킬 축적과 사전 게이트 필요성 사례.
- Xiao, Y., Sun, Y., Wu, H. et al. (2026). PILOT in the Loop: 장기 에이전트의 실시간 자기개선. arXiv:2608.26530, 2026-08-27. — 최근 동향; 초록에서 서술.
- Duan, Y., Liu, Y., Tang, Z. et al. (2026). 인간이 만든 마지막 AI: 진정한 재귀적 자기개선을 향하여. arXiv:2609.11873, 2026-09-10. — 최근 동향; 초록에서 서술.
- Gao, Y., Tian, Y., Li, Y., Zhang, C., Jacobsen, H.-A. (2026). ORCA: 마이크로서비스 장애에 대한 관측 기반 프로그램 복구. arXiv:2608.17018, 2026-08-17. — 최근 동향; 초록에서 서술.
- Yu, C., Wang, Y., Zhang, J. 외 (2026). From Faulty Memories to Corrected Actions: Dependency-Guided Rollback Repair for Memory-Augmented Agents. arXiv:2608.10502, 2026-08-11. — 초록에서 개념만 요약함.
- Anthropic (2024-12-19). Building Effective AI Agents. anthropic.com/engineering. — 평가자–최적화자 워크플로를 설명하나 직접 인용은 아님. 또한 시리즈 표에서 하니스 엔지니어링의 기준점으로 등장.
- Dhage, S. (2026). Harness Engineering for Predictable Agentic Systems: An Empirical Study of Deterministic Execution Constraints. arXiv:2608.26197, 2026-08-25. — 에피소드 1의 핵심 측정값으로, 여기서는 시리즈 표의 근거로 인용됨.
- Yao, S. 외 (2024). τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv:2406.12045. — 에피소드 3에서 pass^k 프레이밍에 사용되었고, 에피소드 6에서 실제로 측정될 예정.
- Weng, L. (2026-07-04). Harness Engineering for Self-Improvement. lilianweng.github.io. — 하니스 엔지니어링 단계의 대표 에세이로 시리즈 표에 등재됨.
- Brown, T. B., Mann, B. 외 (2020). Language Models are Few-Shot Learners. arXiv:2005.14165. — GPT-3 few-shot, 시리즈 표에 명시된 프롬프트 엔지니어링의 기준 논문.
- Wei, J., Wang, X. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903. — 시리즈 표에서 프롬프트 엔지니어링의 대표 논문.
- Khattab, O., Singhvi, A. et al. (2023). DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines. arXiv:2310.03714. — 시리즈 표에서 프롬프트 엔지니어링의 대표 논문.
- Wu, Q., Bansal, G. et al. (2023). AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. arXiv:2308.08155. — 시리즈 표에서 그래프 엔지니어링의 대표 논문; LangGraph: github.com/langchain-ai/langgraph.
- Anthropic (2025-09-29). Effective context engineering for AI agents. anthropic.com/engineering. — 시리즈 표에서 컨텍스트 엔지니어링의 대표 논문.
- Liang, P., Bommasani, R., Lee, T. et al. (2022). Holistic Evaluation of Language Models. arXiv:2211.09110, v2 revised 2023-10-01. — HELM, 시리즈 표에서 평가 엔지니어링의 대표 논문; 본문 인용은 아님, 설명만 포함.
- Zheng, L., Chiang, W.-L., Sheng, Y. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. arXiv:2306.05685, v4. — 시리즈 표에서 LLM-as-a-judge의 대표 논문으로 언급됨. 인용은 없으며, 설명만 포함되어 있다.
- Kapoor, S., Stroebl, B., Siegel, Z. S., Nadgir, N., Narayanan, A. (2024). AI Agents That Matter. arXiv:2407.01502, 2024-07-01. — 시리즈 표에서 평가 엔지니어링의 대표 논문으로 다뤄지며, 인용 없이 설명만 있고, 에피소드 6의 주제이기도 하다.
- Wu, P. J. Loop Engineering: Build the Loop That Catches You (이 사이트) 그리고 AI PR Review That Cannot Lie (이 사이트). — 이 패턴에 대한 저자의 기존 공개 저작물로, 두 프로젝트 모두의 선행 사례로 인용된다.
- 실험실 및 두 프로젝트:gist.github.com/wjlgatech/b1ca818d1695a86b5f99a1724c58ee80 —
04_loop_referee.ipynb,p1_taste_test.py,p2_release_loop.py및 각 README. 이 글에서 인용된 모든 수치는 2026-09-11에 해당 파일에서 출력된 값이다.