Paul Jialiang Wu agentic-portfolio English 中文 Español 日本語✉️ 무료 구독 리스트
← 포트폴리오로 돌아가기

AI-Native 시리즈 · 에이전트형 시스템 제어

주문서

작성: Paul Jialiang Wu · futuremake.io · 2026-08-24 · 에피소드 1/4

Cover: white ground with a black left rail. Eyebrow AI-NATIVE SERIES · CONTROL FOR AGENTS above the serif title The Order Ticket, then two grey lines reading 'You cannot enter the kitchen. You control one thing: what is written on the slip.' Below, two rows of three grey cards: THE SLIP / one call / instructions, examples, format; THE WINDOW / one completion / your entire observation channel; THE GAP / variance / what prompt work rarely measures; then SURVEYED / arXiv:2401.14423 / the mature layer; PROMPTWARE / arXiv:2503.02400 / process, not better wording; THE LIMIT / no memory of after / the plate already left.
이 제약은 비유가 아니다. 호출 한 번, 쪽지 한 장이 전부다.

1분 요약 — 이 글에서 얻어갈 핵심

프롬프트 엔지니어링은 네 계층 중 유일하게 실제 조사 문헌이 존재하며, 이 시즌이 여기서 시작되는 이유도 바로 그 공정함 때문이다. 이 계층에서 내가 다룰 수 있는 작업 단위는 오직 모델 호출 한 번뿐이고, 바로 그 점이 한계이기도 하다. 아무리 문장을 고쳐 써도 프롬프트는 답변이 반환된 이후에 무슨 일이 일어났는지 결코 알 수 없다. 프롬프트 관련 문헌에서 가장 흥미로운 결론은 어떤 기법이 아니라 — 바로 Promptware Engineering이 프롬프트에 버전 관리, 테스트, 책임자라는 소프트웨어적 체계를 도입해야 한다고 주장한 점이다. 이는 문장 자체를 다듬으라는 조언이 아니다. 문장을 둘러싼 운영 체계에 대한 조언이며, 이는 다음 에피소드의 주제가 된다.

도입부

분주한 주방. 나는 안에 들어갈 수 없다. 프라이팬을 만질 수도, 소스를 맛볼 수도, 요리사에게 다시 해보라고 지시할 수도 없다. 내가 행사할 수 있는 통제는 오직 하나, 슬롯을 통해 건네는 종이 쪽지 한 장뿐이다.

7번 테이블. 치킨. 땅콩 제외. 매운맛 중간. 20분.

내가 영향을 미칠 수 있는 모든 정보는 반드시 그 쪽지에 담겨야 한다. 이것이 프롬프트 엔지니어링이다. 이 제약은 비유가 아니라, 실제 인터페이스 그 자체다. 한 번의 모델 호출, 한 장의 쪽지.

이 에피소드가 첫 번째이자 짧은 이유는 여기가 바로 성숙한 계층이기 때문이다. 실제 문헌, 실제 서베이, 실제 방법론이 존재하는 유일한 계층이다. 이 시즌의 나머지는 쪽지 하나만으로는 더 이상 충분하지 않을 때 벌어지는 일에 대한 이야기다.

이 이야기의 배경

이 주방에는 시즌 전체를 관통하는 단 하나의 규칙이 있다: 당신은 주방 밖에 있다. 요리사의 과정을 통제할 수 없다. 오직 쪽지에 적힌 내용과 창문을 통해 돌아오는 결과만이 당신의 손에 들어온다. 이후의 모든 에피소드는 안으로 들어갈 수 없는 채로 더 많은 통제권을 얻으려는 시도다 — 먼저 주방 자체를 다시 짓고(2화), 그다음에는 접시가 돌아오는 것을 관찰하며 쪽지를 다시 보내고(3화), 마지막으로 여러 주방을 동시에 운영하는 것(4화)이다.

1:1 기술 대응표

주방기술적 명칭실제로 통제 가능한 것
종이 쪽지프롬프트지시문, 예시, 출력 형식, 역할 설정
"땅콩 제외"제약 조건인밴드로 명시된 강제 요구사항
"매운맛 중간"명확히 지정되지 않은 항목분산의 가장 큰 단일 원인
서빙대에 놓인 두 개의 예시 접시few-shot 예시컨텍스트 학습
"20분"예산이 계층에서 유일하게 명시할 수 있는 종료 조건
음식이 다시 나오는 창한 번의 결과 반환관찰 가능한 전부의 통로

주장 분류

[DEF]프롬프트 엔지니어링이란 모델 호출 한 번 또는 짧은 상호작용(arXiv:2401.14423, Prompt Design and Engineering)에 대해, 지시문·예시·출력 형식·역할 설정을 설계하는 일이다. 이 계층에서 작업의 단위는 오직 한 번의 호출이다.

[EVIDENCE]이 계층은 실제로 서베이 문헌이 존재한다.Prompt Design and Engineering(arXiv:2401.14423)은 핵심 방법론을 다루며, ReAct, ReWOO, DERA 등 에이전트형 기법까지 포괄한다. 이는 주목할 만하다. '에이전트 루프'라는 개념이 별도의 이름을 얻기 전부터 이미 프롬프트 문헌의 일부로 다뤄졌다는 뜻이기 때문이다.

[DESIGN] Promptware Engineering(arXiv:2503.02400)은 이번 시즌에서 결정적인 변곡점을 제시한다. 프롬프트에도 소프트웨어처럼 요구사항, 테스트, 버전 관리, 유지보수 같은 체계가 필요하다고 주장한다. 이 논지의 방향에 주목하라. 더 좋은 문구를 요구하는 것이 아니다. 프롬프트를 둘러싼 절차적 규율이 필요하다는 주장이다.프롬프트에는 그 자체를 둘러싼 프로세스 규율이 필요하다. 이 주장은 이미 주방의 경계를 벗어나 harness(하니스)라는 다음 단계로 나아가는 신호탄이다.

[OPEN] 우리가 프롬프트의 품질로 간주하는 요소 중 상당 부분이 실제로는 harness(하니스)의 품질—검색, 컨텍스트 조립, 도구 활용 가능성—에 기인한다는 점이 실무 문헌에서는 명확히 분리되어 있지 않다. "더 나은 프롬프트"가 컨텍스트 윈도우 변경과 함께 도입될 때, 어느 쪽의 영향인지 명확히 귀속되지 않는다.

Prediction Gate

이어서 읽기 전에, 답을 하나 정해 두라. 적어 두라. 틀릴 수도 있다는 점이 핵심이다.

한 팀이 에이전트의 작업 성공률을 61%에서 78%로 끌어올렸다. 같은 주에 두 가지를 바꿨다. 시스템 프롬프트를 새로 썼고, 저장소 파일 검색 단계를 추가했다.

베팅: 어떤 변화가 대부분의 성과를 만들어냈으며, 이를 단일 실험으로 어떻게 판별할 수 있을까?

대부분의 사람들은 프롬프트에 베팅한다. 프롬프트는 직접 읽을 수 있기 때문이다. 이 차이를 판별하는 실험은 ablation(절제 실험)이다 — 검색 단계를 old 프롬프트와 함께 적용해보는 것이다. 그런데 이 실험이 거의 실행되지 않는 이유는, 아무도 자신의 문장이 별 의미 없었다는 사실을 증명하는 데 일주일을 쓰고 싶어하지 않기 때문이다.

Failure Room

일부러 망가뜨려 보자:출력 계약을 제거하고 나머지는 그대로 둔다.

신뢰할 수 있게 결과를 내던 프롬프트를 가져와서 {"status": ..., "retryable": ...} 스키마 라인을 삭제하고, 작업 설명만 남긴다. 모델은 여전히 작업을 수행한다. 설명도 그대로 남아 있다. 그러나 진짜로 무너지는 것은 모두 후속 처리 단계 — 파서, 재시도 로직, 그리고 결과를 읽는 평가자다.retryable.

어디가 망가졌는가보다 진단이 더 중요하다. 이 계층에서는 형식 오류와 능력 부족의 실패가 구분되지 않는다 — 후속 처리 단계에서 누군가 출력물을 읽으려 할 때까지는 말이다. 이것이 바로 이번 시즌이 다루는, 누락된 계층의 첫 번째 증상이다. 주문서는 멀쩡했다. 주방도 멀쩡했다. 창문 너머를 지켜보는 장치만 없었다.

실험실 — 15분

프롬프트 하나를 테스트 중인 명세로 간주하라.

  1. 신뢰하는 프롬프트 하나를 골라라. 그 출력이 반드시 충족해야 할 조건—필드의 존재, 타입, 열거형 값, 길이 제한 등—을 명확히 명세로 적어둔다.
  2. 이 프롬프트를 temperature 0에서 20회 실행하고, 명세 위반이 발생한 횟수를 센다. 이어서 실제 운영 환경에서 사용하는 temperature로 20회 더 실행해 같은 방식으로 기록한다.
  3. 이번에는 instruction의 단어 하나만 바꾼 뒤, 동일하게 반복한다. (schema는 그대로 둔다.)

여기서 측정하는 것은 대부분의 프롬프트 작업에서 거의 다루지 않는 부분이다. 바로 분산이다. 품질이 아니다. 평균 성능이 더 높더라도, 분산이 더 크면 파싱이 필요한 시스템에서는 오히려 더 나쁜 프롬프트가 된다.

현실 과제

자신이 관리하는 시스템에서 트래픽이 가장 많은 프롬프트를 찾아라. 그 프롬프트에 버전 번호, 테스트 파일, 그리고 책임자를 지정하라. 이것이 바로 Promptware Engineering (arXiv:2503.02400)의 핵심 권고를 단 한 번의 오후에 실천하는 방법이며, 이 계층에서 가장 비용 대비 효과가 확실한 개선이다.

연구 과제

아무도 시도하지 않는 기여도 분석을 에이전트로 자동화하라. 공개 에이전트 벤치마크 harness를 사용해, 프롬프트는 고정한 채 컨텍스트 조립 단계를 제거하고, 이번에는 컨텍스트를 고정한 채 프롬프트만 제거한다. 두 변화의 차이를 나란히 비교해 보고하라. 검증할 주장은 다음과 같다: retrieval과 도구가 결합된 시스템에서는, 프롬프트 수정이 설명하는 분산의 비율이 실무자들이 예상하는 것보다 낮다. 이 문제는 현재 [OPEN] 상태이며, 실제로 측정이 가능하다.

이탈 테스트

아래 세 가지 질문에 아무것도 참고하지 않고 답할 수 있다면, 이 에피소드를 마칠 수 있다:

  1. 이 계층의 작업 단위는 무엇인가? (one model invocation)
  2. 슬립을 아무리 잘 써도 이 계층에서 절대 할 수 없는 일은 무엇인가? (observe what happened after the plate left the window)
  3. Promptware Engineering은 실제로 무엇을 주장했는가 — 더 나은 문구 자체인가, 아니면 그 문구를 둘러싼 프로세스인가?Promptware Engineering이 실질적으로 내세운 주장은 무엇인가 — 문장 다듬기인가, 아니면 관리 체계인가?

막간

이제 쪽지는 더 손볼 데 없이 완벽하다. 스키마는 강제되고, 제약 조건은 명확히 드러나 있으며, 예산도 분명히 적혀 있다. 그런데도 요리사는 당신이 원한 파일을 읽지 못하고, 당신이 신경 쓰는 테스트를 돌리지 못하며, 접시가 잘못 나온 이유도 설명하지 못한다.

이쯤에서 더 나은 쪽지를 쓰는 일은 멈추고, 주방 자체를 새로 짓기 시작한다. 바로 이 지점에서 용어의 경계도 흐려진다. 모두가 다음에 꺼내 드는 단어가 바로 harness이기 때문이다. 그리고 이 단어의 가장 널리 인용되는 정의는, 우리가 그려온 깔끔한 도식을 조용히 무너뜨린다.

→ 에피소드 2 — 네가 부여하는 몸체

이어 읽기

에피소드 1 — Intelligence Engineering Adventures, 시즌 6 — 거버너 엔진이 시리즈의 모든 주장은 정의, 도출, 증거, 엔지니어링 선택, 오픈 퀘스천 등으로 분류되어 태그된다. 은유는 주장을 소개할 수는 있지만, 결코 증거로 쓰이지 않는다. 이번 시즌은 네 가지 레이블 도식을 실제 1차 자료와 대조할 만큼 진지하게 다루는데, 그 결과 도식이 살아남지 못한다: Anthropic의 정의에 따르면 harness는 루프 자체이지, 그 위의 계층이 아니다. 모든 주장은 클래스별로 태그되며, 진정으로 열린 문제는 open으로 명시된다 — 아직 누구도 LLM 제어 루프의 안정성 기준을 발표하지 않았다. 이 글에는 어떤 고용주나 클라이언트의 자료도 포함되어 있지 않다. — Paul Jialiang Wu · futuremake.io

참고문헌

  1. Prompt Design and Engineering: Introduction and Advanced Methods — arXiv:2401.14423. 프롬프트 기법을 다룬 서베이로, ReAct, ReWOO, DERA를 포함한다. 2026-08-24 arXiv에서 검증됨.
  2. Promptware Engineering: Software Engineering for Prompt-Enabled Systems — arXiv:2503.02400. 참고: 이번 시즌의 기획을 촉발한 문서에서는 이를 "Software Engineering for LLM Prompt Development"로 인용했으나, 식별자는 맞고 제목만 다르다. 위에 인용한 제목이 실제로 확인된 것이다.
  3. Anthropic, Building Effective AI Agents — 미리 정의된 오케스트레이션("workflows")과, 모델이 프로세스와 도구 사용을 동적으로 제어하는 시스템("agents")을 구분한다.https://www.anthropic.com/engineering/building-effective-agents