AI-Native 시리즈 · 에이전트형 엔지니어링
내 AI 공동창업자는 48시간 내리 일했다. 최고의 순간은 전부 그 거부의 순간이었다.
1분 요약 — 이 글에서 얻어갈 것
이틀, 한 명의 인간, 한 명의 AI 공동창업자: 실전 연습 중심으로 재구성한 강의, 개념을 가르쳐주는 노래, 춤추는 거울, 배선까지 마친 튜터링 플랫폼, 그리고 첫 실제 학습자 데이터(재미: 5점 만점에 4점). 뜻밖의 진짜 무기는 속도가 아니었다 — 에이전트가 결과를 조작하기를 거부한 매 순간이었다.
"검증"을 종교처럼 떠받드는 에이전트와 함께한 이틀간의 공개 빌딩. 우리는 여섯 가지를 출시했고, 두 가지를 부쉈고, 인간 한 명을 측정했다 — 그리고 결국 진짜 무기는 속도가 아니라 정직함이었다.
화요일, 나는 AI 공동창업자에게 교육 과정을 검토해 달라고 요청했다. 예의 바른 에이전트였다면 오타 몇 개나 고쳐놓고 끝냈을 것이다. 내 에이전트는 22,740개 단어 전체를 읽고 나서 이 과정을 "핵심이 텅 빈, 그럴듯한 B+짜리 초안"이라 평했고, 발표 스크립트가 이렇게 주장하고 있다는 점을 지적했다: "every example is a real session I ran" (번역: "모든 예시는 내가 실제로 진행한 세션이다") — 정작 그 예시들은 단 한 번도 실행된 적이 없었는데도.
그다음 에이전트는 내가 소중히 여기게 된 행동을 했다: 그 문장이 그대로 출시되는 것을 거부한 것이다.
그 뒤로 이어진 48시간은 내 커리어에서 가장 기묘하고 가장 생산적인 협업이었다. 여기 정직한 스코어보드가 있다 — 망가진 부분까지 포함해서.
증거들 (숫자 없는 이야기는 그저 분위기일 뿐이므로)
| 출시함 | 증거 |
|---|---|
| 강의식 코스를 실전 역량 강화 프로그램으로 재구축 | 설명 대 실습 비율이 100:0에서 40:60으로 전환; 조작된 데모 트랜스크립트를 실제 캡처된 실행 기록으로 교체 |
| 프레임워크를 가르치는 노래 | 라이선스 문제없는 오픈 모델로 생성한 두 곡의 귀에 감기는 트랙 — 프롬프트 작성법을 풀어낸 코러스, 에이전트형 루프를 위한 앤섬 |
| "매직 미러" | 웹캠 → 스켈레톤 → 음악에 맞춰 당신의 춤을 추는 빛나는 아바타, 약 200줄, 완전히 온디바이스 |
| 배포되고 연결까지 완료된 튜터링 플랫폼 | 로컬에서 구동되는 오픈소스 스파인(2만 6천 스타 레포): 실제 논문 기반 지식베이스, 퀴즈 생성, 턴당 $0.0004 텔레메트리 |
| 첫 번째 실제 학습자 데이터 포인트 | n=1(나 자신): 티치백 완료, 재미 지수 4/5, 7일차 파지 테스트 예정 |
| 구슬려지지 않는 냉철한 시험관 | 생성하는 것은 전이(transfer) 프로브 — 낯선 시나리오, 절대 바꿔쓰기 아님 — 그리고 유창함이 아니라 메커니즘을 판단한다. 골든 테스트: 심층 설명 → PASS; 유창한 유행어 → NOT_YET |
최종 스프린트의 총 API 사용 비용 — 시험관, 신뢰성 체인, 데이터 스파인까지 합쳐도: 0.25달러 미만. 그것이 작동하는 걸 지켜보며 마신 커피값보다 적다.
제품은 다름 아닌 '거절'이었다
누구나 자기 AI가 할 수 있는지 다. 48시간이 내게 가르쳐준 것은, 제대로 하네스를 갖춘 에이전트가 하지 않는 것에 가치가 있다는 사실이다:
허구를 사실처럼 내놓지 않았다. 이 강좌의 데모 대화록은 "실감 나게 각색된" 것이었다. 에이전트는 실제 레포에서 실제 세션을 실행해, 실제 계획과 실제 한 줄짜리 diff, 실제로 통과한 테스트를 그대로 캡처했다 — 그리고 그 실제 결과에 맞춰 슬라이드를 다시 썼는데, 이는 허구보다 덜 드라마틱했지만 그만큼 더 신뢰가 갔다. 조작된 버전에서는 AI가 실패한 테스트 두 개를 영웅적으로 고쳐냈다. 실제 실행 결과는? 첫 시도에 밋밋하게 성공한 게 다였다. 이 솔직함은 이제 강의의 첫 대목이 되었다.
순위를 조작하지 않았다. 우리 노래 생성기는 프롬프트 충실도에 따라 결과물의 순위를 자동으로 매긴다. 순위 매김 모델이 설치되어 있지 않았을 때, 보고서는 점수를 지어내는 대신 "첫 번째 결과 기준 순위(CLAP 사용 불가)"라고 적었다. 사소해 보이지만, 이런 게 쌓인다.
장애를 숨기지 않았다. 데모 당일 밤, 호스팅된 음악 엔진이 파일럿 중간에 죽어버렸다. 조용히 넘어가는 대신 에이전트는 실패를 로그로 남기고, 다음 날 아침 생존 체인(호스팅 엔진 → 로컬 엔진 → "노래를 생성할 수 없었습니다 — 이 부분 없이 계속합니다"라는 솔직한 안내)을 구축한 뒤, 여전히 고장 난 서비스를 대상으로 그 체인을 실제로 테스트했다. 우아한 성능 저하(graceful degradation)를 가장 잘 테스트하는 방법은 실제 장애 상황이고, 마침 우리에게는 그런 장애가 있었다.
패턴은 이렇다: 솔직한 ❌가 가짜 ✅를 이긴다 — 슬로건이 아니라 종료 코드(exit code)로서. 이제 우리 레포의 모든 주장에는 근거가 딸려 있거나, 아니면 ⚪ "미검증" 태그가 붙는다. 정직함마저 엔지니어링할 수 있는 것이었다.
과학이 던진 반전
중간 지점에서 우리는 학습과학 30년치 자료를 대상으로 딥리서치 스윕(에이전트 110개, 모든 주장을 적대적으로 검증)을 돌렸다. 세 가지 발견이 로드맵을 뒤흔들었다:
1. 교육계에서 가장 유명한 숫자는 신화였다. Bloom이 제시한 "2-시그마" 튜터링 효과는 재현되지 않는다 — 실제 인간 튜터링의 효과크기는 d≈0.79이며, 소프트웨어 튜터는 이미 통계적으로 이 수치에 맞먹는다. 모두가 좇던 그 기준선은 알고 보니 전설의 3분의 1에 불과했고, 기계는 이미 조용히 그 지점에 도달해 있었다.
2. 가르친 내용에 맞춰진 평가는 결과를 3~6배 부풀린다. 튜터링 시스템은 자기 학습 자료로 만든 시험에서는 0.73점을, 전이(transfer) 시험에서는 0.13점을 받는다. 이것이 우리 시험관이 오직 새로운 시나리오 문제만 내는 이유다. 학습 제품이 자기 숙제를 자기가 채점한다면, 그 지표는 마케팅일 뿐이다.
3. '재미'를 측정한 사람은 아무도 없다. 속도, 깊이, 지속성 — 수십 년간 쌓인 증거가 있다. 그런데 즐거움이라는 축만은 검증된 주장이 단 하나도 없다. 그러니 이번 주부터 모으기 시작한 재미 데이터셋(표본 크기: 열정적인 인간 한 명, 4/5점)은 작고 소박할 수밖에 없는데, 알아본 바로는 이 분야에서 거의 유일한 데이터이기도 하다.
열다섯 살짜리가 여기서 배워야 할 것
AI 공동창업자는 말이 많은 챗봇이 아니다. 그것은 하나의 루프다: 목표 → 구축 → 검증 → 조작 거부 → 학습 → 반복. 모든 가치는 '검증'과 '거부' 단계에 숨어 있다. 사람이 지쳤을 때 건너뛰고 에이전트가 제대로 하네스를 갖추지 못했을 때 건너뛰는 단계가 바로 여기이기 때문이다. 하네스 엔지니어링 — 계약, 휴먼 게이트, 증거 등급 — 이란 정직한 길을 가장 쉬운 길로 만드는 기술이다.
build the thing
→ test it against reality (not against vibes)
→ when it fails, say so, loudly, in the log
→ bank the lesson where the next run will find it
→ repeat until the demo is just... true
이틀. 여섯 개의 출시. 두 번의 정직한 고장은 지금은 둘 다 핵심 기능이다. 트랜스포머 어텐션을 배우며 눈에 보이게 즐거워하는 인간 한 명. 그리고 에이전트 시대에는 이런 확신이 점점 커진다 — 신뢰야말로 쌓일수록 커지는 유일한 데모라는 확신이.
여기 나온 모든 것은 실제로 존재하고 직접 확인할 수 있다 — 코스, 노래, 미러, 시험관, ROI 원장까지 딸린 포크별 의사결정 로그. 도구는 github.com/wjlgatech에 공개되어 있다.
계속 읽기
AI-Native 시리즈의 일부. 도구는 github.com/wjlgatech에 공개되어 있다 — Publish 버튼은 내 것이 아니라 여러분 것이다.