학습 엔지니어링 · 네 개의 연구 시간대 · 하나의 실전 사례연구
어려운 아이디어는 튕겨 나간다. 300년 묵은 레시피를, 에이전트가 돌리면 뇌에 붙는다.
1분 요약 — 얻어갈 것
30일, 30개월, 30년, 300년 — 네 개의 연구 시간대가 동의한다: AI 학습 도구는 소비를 최적화하지만, 지속되는 학습은 생성 쪽에 있다(1885년의 간격 반복, 1917년의 인출 연습, 가르치며 되짚기, 그리기). 죽은 방법들의 무덤(학습 유형론, 속독)을 보면 인기가 생존을 보장한 적은 한 번도 없다. AI는 생성에 겨누고, 증거를 요구하고, 마지막 클릭은 사람이 쥐고 있어라.
지난주 나는 Rich Sutton의 Bitter Lesson — 컴퓨팅을 타는 범용 방법이 인간이 손수 짜낸 지식을 이긴다고 주장하는 그 에세이 — 을 AI 에이전트 무리에게 먹였다. 그 무리는 에세이가 예측한 바로 그 방식으로 그것을 학습했다: 내가 요약을 손으로 짜준 것이 아니라, 범용적이고 검증 가능한 기계를 돌려서 말이다. 이 재귀 구조에는 아이러니가 있다. 그 기계가 실제로 한 일은 결코 새로운 게 아니다. 이는 삼백 년 전으로 거슬러 올라가는 근거를 가진 학습법이며— 오늘날 출시되는 AI 학습 도구 대부분이 이를 건너뛴다.
소비의 함정 (지난 30일이 보여주는 것)
요즘 나오는 도구 리뷰를 아무거나 살펴보면 패턴은 똑같다: 논문을 업로드하면 요약, 팟캐스트, 영상 개요, 플래시카드가 나온다. NotebookLM의 2023→2026년 진화 — Deep Research, 80개 언어 오디오 개요, 영화 같은 영상, 자동 생성 퀴즈까지 — 는 진정으로 인상적인 엔지니어링이며, 학생들은 이제 이를 "less like a chatbot and more like a personalized research environment." (번역: 챗봇이라기보다는 개인화된 리서치 환경에 가깝다) 하지만 모든 화살표의 방향을 눈여겨보라: 콘텐츠는 당신을 향해 흘러오며, 미리 씹어놓은 채로 온다. 그것이 소비다. 그리고 한 세기에 걸친 학습 과학이 밝혀낸 불편한 사실은 지속되는 학습이 정확히 소비가 일어나지 않는 지점에서 일어난다는 것이다. 다시 읽기 — 요약을 받아보는 것의 수작업 버전 — 는 연구를 거듭할수록 지는 전략이다.
300년을 살아남은 것 (그리고 요란하게 죽은 것)
1 · 간격 반복 (1885년 측정, 141년째). Ebbinghaus가 자신의 음절 실험에서 남긴 말: "with any considerable number of repetitions a suitable distribution of them over a space of time is decidedly more advantageous than the massing of them at a single time" (번역: 상당한 횟수의 반복이 있을 때, 그것을 일정 기간에 걸쳐 적절히 분산시키는 것이 한 번에 몰아서 하는 것보다 명백히 더 유리하다) (Memory, 1885). 다음 연구에서 반복 검증되었다: 317개 실험, 839건의 평가 (Cepeda et al., 2006). 지금은 보건의료 전문직 교육의 표준이다. 인쇄물에서 소프트웨어로 매체가 바뀌는 와중에도 살아남았다 (SuperMemo 1985년, Anki 2006년).
2 · 인출 연습 (1917년 정식화, 109년째). Gates의 낭독 연구 아이들이 지면에서 눈을 떼고 소리 내어 암송하게 했다. 한 세기 뒤 Roediger & Karpicke (2006) 연구는 성인에게서 같은 효과를 측정했다. 일주일 뒤, 인출 연습을 한 쪽은 61%를 기억했지만 재독한 쪽은 40%에 그쳤다. 가장 오래된 목소리와 가장 최근의 목소리가 89년의 시차를 두고도 같은 결론에 다다른다.
3 · 가르치며 배우기 (1801년의 경구, 근거는 현대에 축적). Joubert의 "to teach is to learn twice" (번역: 가르치는 것은 두 번 배우는 것이다)는 측정 가능한 프로테제 효과(protégé effect)가 되었다: Fiorella & Mayer의 생성적 전략 리뷰에서, 타인에게 설명하기는 검증된 개입 가운데서도 가장 강력한 축에 든다.
4 · 직접 그려보기 (1810년대의 사례, 약 210년). Faraday — 제본공의 견습생 출신으로 정규 수학 교육을 받지 못했다 — 는 강의 노트를 "with detailed illustrations, thoroughly indexed" (번역: 상세한 그림을 곁들이고 철저히 색인화하여) 묶었고, 역사가들은 이 노트를 창조적 과학의 능동적 조직화로 취급하며, 단순한 기록 보관으로 보지 않는다. 현대의 측정치: 학습자가 직접 그린 그림은 28개 연구 중 26개에서 대조군을 앞섰고, 중앙값 d = 0.40이었다.
지난 30년이 측정한 것, 지난 30개월이 바꾼 것
지난 30년은 살아남은 방법들을 숫자로 바꿔놓았다 — 효과 크기, 메타분석, Fiorella & Mayer의 여덟 가지 생성적 전략 (요약하기, 개념도 그리기, 그리기, 상상하기, 자가 테스트, 스스로 설명하기, 가르치기, 실연하기) — 그리고 하나의 장르 전환이 있었다: 3Blue1Brown (2015년 시작, 현재 구독자 785만 명)은 아이디어의 메커니즘을 애니메이션으로 보여주는 것이 대학원 수준의 수학을 수백만 명에게 전달할 수 있음을 증명했고, 이후 manim 엔진을 오픈소스로 공개해 그 기법 자체를 실행 가능하고 공유 가능한 것으로 만들었다.
지난 30개월은 전달 비용을 거의 0에 가깝게 낮췄다. 하버드의 한 RCT에서는 교육학적으로 튜닝된 AI 튜터를 사용한 학생들이 더 짧은 시간에 두 배 이상 많이 학습했다 같은 코스의 능동학습 강의실보다 절반도 안 되는 시간에 두 배 이상 배웠다(Kestin et al., 194명). 저자들은 이 성과를 모델이 아니라 교육학 모범 사례에 맞춘 튜닝 덕으로 돌린다. 나이지리아 에도주에서는 World Bank RCT 가 6주간 가드레일이 걸린 GPT-4 튜터링만으로 평상시 학교 교육 1.5~2년치에 해당하는 학습 성과 를 만들어냈다 — 이는 지금까지 엄밀하게 검증된 교육 개입 중 가장 비용 효율적인 사례에 속하며, 여기서도 프롬프트는 정답이 아니라 추론을 유도하도록 설계되어 있었다. 두 사례 모두에서 드러나는 패턴은 이렇다: AI는 소비와 생성이라는 축 위에서, 당신이 겨냥한 쪽을 그대로 증폭한다. 그러니 생성을 겨냥하라.
하나의 의도, 네 개의 기관, 모든 주장에 걸린 검증
그래서 지금 내가 실행하는 방법은 이렇다 — 라우터에게 던지는 한 문장으로 요약된다. 내 allin-anything 슈퍼 레포는 각각 기계적으로 검증된 상태를 지닌 에이전트 레포 패밀리를 인덱싱한다. 의도는 이것이었다:
결정론적 라우터(그 판정은 감이 아니라 pytest 케이스다)가 세 개의 기관을 지정했고, 각 기관은 신뢰받기 전에 자체 테스트 스위트를 모두 통과해야 했다: master-anything — 티치백 세션 구조(15개 테스트 + 스모크 테스트) · animate-anything — 실행 가능한 애니메이션 제작, 10항목 스타일 린터에서 100/100점 · penecho — 펜에서 디지털 캔버스로, 고정된 커밋에서 200개 테스트 통과. 이 체인은 다섯 개의 애니메이션 세션을 만들어냈다. 그리고 이 그림은 실제 펜 스트로크로 그려져, 캔버스 자체의 렌더러로 출력된 것이다:
쓰라린 교훈 (The Bitter Lesson)의 두 곡선 — 인간의 사전 지식은 정체하고, 컴퓨팅은 계속 상승한다 — 실제 잉크로 그려낸
파이프라인이 실제로 한 일을 생존자들의 원칙에 대응시켜보자. 그것은 그렸고 (Faraday의 방식, d = 0.40), 콘텐츠를 티치백 세션 구조로 짰으며 (Joubert의 방식, 프로테제 효과), 결론이 아니라 메커니즘을 애니메이션으로 만들었다 (Sanderson의 방식). 그리고 이 결과물은 원본 자료 자체가 담고 있던, 퀴즈로 낼 수 있는 주장으로 마무리된다 (Gates의 방식). 어떤 기관도 하지 않은 단 한 가지: 발행이다. 그건 내가 직접 클릭한 부분 — 모든 비가역적 단계가 받아야 할 휴먼 게이트다.
네 가지 결과, 있는 그대로 정리하면
당신은 손을 통해 아이디어와 접촉했다 — 스크롤 제스처가 아니라 캔버스 위의 획이다. 근거: 생성적 그리기, 28개 연구 중 26개가 긍정적; Fiorella와 Mayer의 여덟 가지 전략 중 실행(enactment).
각 세션은 다음으로 넘어가기 전에 메커니즘을 자신만의 말과 그림으로 표현하게 만든다. 근거: 인출 61% 대 40%; 티치백/프로테제 효과는 가장 강력한 생성적 전략 중 하나다.
라우터 자체가 하나의 연결 엔진이다: 동일한 의도가 수학 애니메이션 레포, 펜 캔버스, 학습 루프를 모두 건드렸다 — 아이디어들이 도구 전체에 걸쳐 서로 참조된다. 근거: Mayer의 멀티미디어 원칙 — 말과 그에 대응하는 그림을 함께 쓰는 것이 말만 쓰는 것보다 낫다.
모든 기관이 종료 코드를 지니고 있었다. 당신이 그 결과물을 믿는 이유는 게이트들이 통과하는 것을 직접 지켜봤기 때문이다 — 확신이란 이해에 검증 기록을 더한 것이다. 근거: 안티-포트폴리오 — 검증을 건너뛴 분야들(학습 유형, 속독)은 검증 앞에서 죽는다.
직접 해보기 (내 레포가 있든 없든)
- 밀도 높은 자료 하나를 고른다 — 논문, 브리핑, 이전에 나를 튕겨낸 적 있는 챕터든 상관없다.
- 생성을 요구하는 의도 하나를 말한다: "X를 깊이 배우되, 핵심 아이디어마다 애니메이션을 만들고, 중심 그림을 손으로 스케치한다." 도구보다 동사가 중요하다.
- 요약기가 아니라 기관(organ)으로 라우팅한다 — 세션 구조화 도구(티치백), 모션 도구(장식이 아니라 메커니즘), 그리고 손이 닿는 무언가(스타일러스, 펜, 화이트보드).
- 영수증을 요구한다 — AI 도구가 학습에 도움이 된다고 주장한다면, 그 도구의 exit code에 해당하는 것이 무엇인지 물어라. 게이트 없이는 신뢰도 없다. 이 원칙, 300년치 무덤이 하는 말이다.
- 마지막 단계는 인간의 몫으로 남긴다 — 발행하고, 결정하고, 행동하는 것. 나이지리아 RCT가 성공한 것은 가드레일 덕분이었지, 그럼에도 불구하고가 아니었다.
- 돌아오는 길에도 간격을 둔다 — 일주일 후 결과물을 다시 찾아가, 재읽기 전에 먼저 암송하라. Ebbinghaus는 1885년부터 옳았다.
재귀적인 결말
쓰라린 교훈 (The Bitter Lesson)은 계산을 지렛대 삼는 일반적 방법이 손으로 짜맞춘 인간의 지식을 이긴다고 말한다. 300년을 살아남은 학습법이야말로 바로 그런 종류의 일반적 방법이다 — 그리고, 가르치고, 시험하고, 간격을 두는 것, 주제가 무엇이든 상관없이 — 에이전트는 이제 그 실행 비용을 붕괴시켰다. GPU가 탐색과 학습의 비용을 붕괴시켰던 것과 같은 방식이다. 손으로 짜맞춘 요약은 공부의 "인간 사전지식"이다: 초반의 승리, 그러나 단단한 천장. 생성 루프는 컴퓨트 곡선이다. 그 그래프가 어떻게 끝나는지는 이미 알 것이다 — 내가 그리는 걸 지켜봤으니까.
🗞 지난 30일: NotebookLM의 2026년 기능 구성과 학생 사용 패턴 (Glasp, DigitalOcean) · 📅 지난 30개월: Harvard AI 튜터 RCT, World Bank 나이지리아 RCT · 🌳 지난 30년: Roediger & Karpicke 2006, Fiorella & Mayer, 3Blue1Brown/manim · 🏺 지난 300년: Ebbinghaus 1885, Gates 1917, Faraday의 노트 (Royal Institution), 여기에 무덤까지 더하면: Thorndike & Woodworth 1901, Pashler et al. 2008. 솔직한 한계: AI 튜터 관련 증거는 아직 3년도 채 되지 않았고, 두 RCT 모두 그 성과를 교육학적 가드레일 덕분으로 돌린다 — 설계 설명 없이 "AI가 학습을 향상시킨다"는 주장은 학습 유형(learning styles) 마케팅과 똑같이 취급해야 한다. 케이스 스터디의 근거(테스트 개수, exit code, 잉크 export 결과)는 allin-anything repo의 워크스루와 CI 기록에 있다.
글 Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app · 케이스 스터디: "The Bitter Lesson, learned all-in" (번역: 쓰라린 교훈, 올인으로 배우다) · github.com/wjlgatech/allin-anything