AI-네이티브 시리즈 · 학습 공학

나는 쓰라린 교훈을 내 에이전트들에게 먹였다. 그것은 내 공부법부터 먼저 먹어치웠다.

글쓴이 Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app · 2026-08-01

1분 요약 — 이 글에서 얻어갈 것

Sutton의 쓰라린 교훈은 컴퓨팅을 등에 업은 일반적 방법이 손으로 다듬은 인간의 지식을 이긴다고 말한다 — 그리고 당신의 공부 습관도 바로 그 그래프 위에 있다: 형광펜 긋기와 다시 읽기는 손으로 다듬은 사전 지식이고(빠른 출발, 낮은 천장), 그리기·가르치기·테스트하기·간격 두기는 계속 올라가는 일반적 방법이다. 에이전트들은 그저 이 좋은 루프를 거의 공짜로 만들었을 뿐이다. 하나의 멘탈 모델, 열 개의 검증된 참고문헌, 진짜 잉크, 그리고 기계가 절대 대신하지 않는 단 한 단계: Publish 클릭.

The Bitter Lesson, learned all-in — the human-priors curve plateaus while the compute curve crosses it

2019년에 나는 Rich Sutton의 The Bitter Lesson을 읽고, 교양 있는 사람들이 중요한 에세이를 대하는 방식 그대로 행동했다: 고개를 끄덕였고, 형광펜을 그었고, 동료에게 "정말 맞는 말"이라고 말했다. 간단한 테스트, 7년 후 — 그 안의 문장 세 개를 외울 수 있었을까? 못했다. 내 형광펜도 못했다, 줄곧 그 자리에 있었는데도.

에세이를 한 호흡에

Sutton의 첫 문장, 원문 그대로^[1]:

"The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin." (번역: 지난 70년간의 AI 연구에서 읽어낼 수 있는 가장 큰 교훈은, 컴퓨팅을 활용하는 일반적 방법이 결국 가장 효과적이며, 그것도 큰 차이로 그렇다는 것이다.)

체스는 그랜드마스터의 직관이 아니라 탐색에 무너졌다. 바둑은 격언이 아니라 자가 대국에 무너졌다. 음성 인식은 음소가 아니라 통계에, 컴퓨터 비전은 손으로 그린 엣지가 아니라 학습된 특징에 무너졌다 — Sutton이 직접 다루는 네 번의 역전극이다^[1]. 매번, 인간의 통찰을 정성껏 부호화해 넣었던 연구자들은 연산을 게걸스레 먹어치우는 범용 방법이 하드웨어가 따라잡는 순간 자신들을 앞질러 가는 것을 지켜봐야 했다. 이 애니메이션은 분야별로 그 역전을 재현한다 — 회색은 손으로 짜맞춘 접근법이고, 주황색은 늦게, 그것도 무례하게 등장한다:

체스
휴리스틱 → 탐색

바둑
패턴 → 자가 대국

음성
음소 → 학습

비전
특징 → CNN

칠십 년, 네 개 분야, 하나의 반전 — 끝내 쓴맛으로 반복되다

내가 칠 년 걸려 알아챈 농담

여기, 2019년으로 되돌려 받고 싶은 대목이 있다. 이 에세이는 원문 그대로 이렇게 경고한다^[1]:

"We have to learn the bitter lesson that building in how we think we think does not work in the long run." (번역: 우리가 생각하는 방식을 그대로 만들어 넣는 것은 장기적으로 통하지 않는다는, 그 쓰라린 교훈을 우리는 배워야 한다.)

이제 내가 그것을 어떻게 공부했는지 보라. 하이라이트 — 어떤 문장이 중요한지에 대한 내 나름의 손짐작. 요약 — 나만의 손으로 짜맞춘 압축. 끄덕임 — 내가 가장 좋아하는 무연산 추론. 결국 내 학습법 전체가 내 마음이라는 대상을 손으로 짜맞춘 인간의 지식이었던 셈이다. 나는 이 에세이를 흡수하겠다는 명목으로 이 에세이가 하지 말라는 짓을 하고 있었다. 쓰라린 교훈에는 나 같은 사람들을 위한 조항이 있었는데, 나는 그 부분에 하이라이트까지 쳐 두었었다.

이 글의 하나의 멘탈 모델: 당신의 공부법도 그 두 곡선 그래프 위에 있다. 직관적 방법 — 하이라이트, 재독, 요약 — 은 빠르게 상승하지만 당신 자신의 내성(introspection)이라는 천장에서 정체된다. 생성적 방법 — 그려보고, 가르쳐보고, 시험해보고, 간격을 두고 반복하는 것 — 은 더 느리게 시작하지만 계속 상승한다. 탐색과 학습이 연산을 능력으로 바꾸듯, 이 방법들은 시간을 (그리고 이제는 연산을) 기억으로 바꾸기 때문이다. 같은 그래프다. 당신도 그 위에 있다.

한 세기의 증거가 말하는 것 (이건 느낌적인 느낌이 아니다)

인지과학은 컴퓨터가 나오기 전부터 이 정확히 같은 시합을 치러왔고, 여기서도 일반적 방법이 계속 이긴다. 재독은 인출에게 진다: 학습 일주일 후, 인출 연습을 한 쪽은 61%를 기억한 반면 재독한 쪽은 40%에 그쳤다 (Roediger & Karpicke, 2006^[2]) — 1917년 Gates의 교실 암송 실험이 이미 이 결과를 예견한 바 있다^[3]. 그리기는 응시를 이긴다: 학습자가 직접 그린 그림은 28개 연구 중 26개에서 대조군을 앞섰고, 중앙값 효과크기는 d = 0.40이었다^[4]. 가르치기는 소비를 이긴다: Fiorella & Mayer의 생성적 전략 리뷰에서, 남에게 설명하기는 측정된 개입 중 가장 강력한 축에 든다^[5]. 간격 반복은 벼락치기를 이긴다—이는 1885년부터 이미 입증된 사실이다^[6]:

"상당한 횟수의 반복이 필요할 경우, 그것을 시간에 걸쳐 적절히 분산시키는 편이 한 번에 몰아서 하는 것보다 훨씬 더 유리하다." — Ebbinghaus

그리고 여기 내부자만 아는 반전이 있는데, 이게 좀 아프다: 심리학은 이 모든 것을 거의 영원히 알고 있었지만, 교육계는 대체로 이를 무시했다. Frank Dempster의 1988년 American Psychologist 논문 제목은 그야말로 이렇다: "The Spacing Effect: A Case Study in the Failure to Apply the Results of Psychological Research" (번역: 간격 효과: 심리학 연구 결과를 적용하지 못한 사례 연구)^[7] — 이 분야에서 가장 잘 재현된 발견이 정작 '미적용 서류함'에 처박혀 있었던 셈이다. 우리는 1885년부터 이미 올바른 학습 알고리즘을 갖고 있었다. 그런데도 계속 재독을 해왔는데, 재독이 학습처럼 느껴지기 때문이다. 유창성 착각은 공부법계의 플로지스톤이며, 당신의 형광펜은 마케팅 수완이 뛰어난 인간의 사전 지식이다.

지난 30개월 사이에 바뀐 것은 올바른 알고리즘을 돌리는 비용이다. 하버드의 한 RCT에서는 교육학적으로 조율된 AI 튜터를 사용한 학생들이, 같은 강좌의 능동학습 강의실 학생들보다 더 짧은 시간에 두 배 넘게 배웠다^[8]. 나이지리아에서 진행된 세계은행 RCT에서는, 가드레일이 적용된 GPT-4 튜터링 6주 만에 통상적인 학교 교육 1.5~2년에 해당하는 성과 향상을 거두었다^[9]. 두 연구팀 모두 그 공을 모델이 아니라 교육학에 돌렸다. 컴퓨팅 자원은 생성적 학습 루프를 대체한 게 아니다. 그것을 값싸게 만들었을 뿐이다.

그래서 나는 이 에세이 자체를 대상으로 실험을 진행했다

내 에이전트 라우터에 던진 한 문장: "The Bitter Lesson을 깊이 학습하되, 핵심 개념마다 애니메이션을 넣고, 두 곡선을 손으로 스케치할 것." 라우터 — 판정이 pytest 케이스로 내려지는 결정론적 프로그램으로, 내 allin-anything 슈퍼 레포 안에 있다 — 는 세 개의 기관을 지명했고, 각 기관의 테스트 스위트는 신뢰받기 전에 모두 초록불이 켜졌다: 티치백(teach-back) 학습 루프(15개 테스트 + 스모크 테스트), 실행 가능한 애니메이션 제작 린터(100/100), 그리고 penecho, 펜에서 디지털로 이어지는 캔버스(고정된 커밋에서 200개 테스트 통과). 그런 다음 파이프라인은 과학이 명령하는 그대로 실행했다: 그리고 애니메이션으로 만들고, 티치백을 위해 모든 것을 구조화했다. 이 그림은 진짜 잉크다 — penecho의 캔버스 위에 내가 직접 그은 획을, 그 자체 렌더러로 내보낸 것이다:

Hand-drawn on penecho: the human-knowledge curve rises fast then plateaus; the compute curve crosses it and keeps rising — 손으로 그린 두 곡선 — 자체 200개 테스트를 먼저 통과한 캔버스 위에서 — 신뢰가 먼저, 잉크는 그다음

같은 그림을 움직임으로 — 회색 곡선은 포화되고, 주황색 곡선은 프레임이 끝날 때까지 여전히 가속 중이다

내 에이전트들이 만든 다섯 애니메이션 중 두 개를 더 소개한다, 메커니즘에는 움직임이 필요하니까. Sutton의 확장 가능한 두 방법^[1] — 예산이 늘어날수록 넓어지는 나무로서의 탐색(search), 바닥이 어디인지 알려주지 않아도 스스로 바닥을 찾아가는 공처럼 작동하는 학습(learning):

예산에 따라 넓어지는 탐색(파란색) · 손실 표면을 내려가는 학습(주황색)

그리고 안티패턴을 애니메이션으로 보여준다 — 사전 지식(prior)이 어떻게 천장이 되는가. 한 학습자는 우리가 애써 인코딩해 넣은 상자 안에서 자라나 그 뚜껑에 부딪히고, 다른 학습자는 컴퓨트를 거스르며 자라나 부딪히지 않는다:

상자 자체가 곧 정체기다 — AI 시스템에서도, 공부법에서도 마찬가지로

체인은 끝까지 실행된 다음, 내가 기계에게 절대 허용하지 않는 그 한 가지를 했다: 멈춘 것이다. 이 페이지를 발행한 것은 인간의 클릭이었다 — 바로 나의 클릭. 내 에이전트들은 자기 자신의 우월성을 보여주는 그래프를 그리고 다섯 장면으로 애니메이션까지 만든 뒤, 예의 바르게 허락을 기다렸다. 휴먼 게이트가 체인 정의 안에 용접되어 있어서 누군가 그것을 제거하면 테스트가 실패하도록 되어 있기 때문이다. 기계들은 이기고 있다, 다만 예의를 갖춰서 이기고 있다. 나는 같은 오후 안에서 이토록 남아도는 존재인 동시에 이토록 필수적인 존재라고 느껴본 적이 없다.

패턴: 예산이 두 배가 될 때 더 좋아지는 방법에 걸어라 — AI 시스템에서는(Sutton이 말한 탐색과 학습), 그리고 자신의 공부에서는(생성과 간격 반복).

안티패턴: 자신의 내성(introspection)을 파이프라인으로 그대로 인코딩하는 것 — 2005년의 시각 특징(visual features), 1985년의 문법 규칙, 지난 화요일의 내 형광펜. 초반엔 이기지만 곧 단단한 천장에 부딪힌다.

메커니즘: 생성적 활동(그리기, 가르치기, 스스로 테스트하기)은 인출과 재구성을 강제하며, 바로 이것이 지속되는 기억을 만들어낸다 — 이는 탐색과 학습이 인간의 손길 없이도 순수한 연산량을 능력으로 전환하는 것과 정확히 같은 원리다. 에이전트는 이 생성적 루프를 실행하는 비용을 거의 무료로 만들 뿐, 그것을 대체하지는 않는다.

제1원칙 — "The two methods that seem to scale arbitrarily in this way are search and learning." (번역: 이런 식으로 임의로 확장 가능해 보이는 두 가지 방법은 탐색과 학습이다.) (Sutton, verbatim^[1]) 인간을 위한 따름정리: 확장 가능한 공부법은 오직 생성과 간격 반복, 이 두 가지뿐이다. 나머지는 전부 자기 성찰의 한계에서 정체된다.

이번 주에 직접 해보기 (SMART 파트)

구체적으로(Specific): 전에 튕겨 나갔던 밀도 높은 텍스트를 하나만 고른다.실행 가능하게(Actionable): 첫 문장부터 생성을 요구한다 — "X를 핵심 아이디어마다 애니메이션과 함께, 중심 도해의 손그림 스케치와 함께 깊이 있게 학습하라" — 그리고 당신이 생산하게 만드는 도구로 연결하되 소비하게 만드는 도구는 피한다; 어떤 도구가 학습을 돕는다고 주장한다면, 그 도구의 테스트 스위트에 해당하는 것이 무엇인지 물어보라. 측정 가능하게(Measurable): 오늘로부터 7일 후, 다시 읽기 전에 암송해본다 — Gates의 방식, 1917년^[3]; 기억만으로 중심 도해를 재구성할 수 없다면, 실패한 것은 방법이지 당신이 아니다.시한을 정해서(Timeboxed): 전체 루프는 한나절이면 끝난다; 내 경우도 그랬고, 그 영수증도 남겨두었다^[10]. 관련성 있게(Relevant): 당신은 지금 연산량이 사전 지식을 이기는 것에 관한 에세이를 읽고 있으며, 이는 연산량이 거의 무료가 된 바로 이 십 년 동안의 일이다. 그래프는 당신을 기다려주지 않는다, 당신이 준비되든 말든.

참고문헌 (각 링크는 발행 시점에 검증됨)

Sutton, R. (2019). The Bitter Lesson. 모든 인용문은 에세이 원문에서 발췌해 발행 시점에 글자 단위로 대조 검증한 것이다.
Roediger, H. L. & Karpicke, J. D. (2006). Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention. Psychological Science 17(3) — 1주 후 재인출 61% 대 재읽기 40%.
Gates, A. I. (1917). Recitation as a Factor in Memorizing. Archives of Psychology, №40.
Schwamborn et al. / Fiorella & Mayer (2016). The generative drawing principle in multimedia learning — 그림 그리기가 28개 연구 중 26개에서 대조군을 앞섰고, 중앙값 효과크기 d = 0.40.
Fiorella, L. & Mayer, R. E. (2015). Learning as a Generative Activity. Cambridge University Press — 여덟 가지 생성적 전략, 그중 가르치기가 가장 강력한 축에 속함.
Ebbinghaus, H. (1885/1913). Memory: A Contribution to Experimental Psychology, 8장 — Ruger & Bussenius 번역본에서 원문 그대로 인용.
Dempster, F. N. (1988). The Spacing Effect: A Case Study in the Failure to Apply the Results of Psychological Research. American Psychologist 43(8).
Harvard Gazette (2024), Kestin 등의 RCT에 관하여. Professor tailored AI tutor to physics course. Engagement doubled. — 194명 학생, 더 짧은 시간에 2배 이상의 학습 효과.
World Bank (2025). From chalkboards to chatbots in Nigeria — 6주간 가드레일이 적용된 GPT-4 RCT; 그 효과는 평상시 학교 교육 1.5~2년 치에 해당.
이번 실행의 증빙 — 테스트 횟수, 종료 코드, 고정된 커밋, AutoRunner 저널 — 은 github.com/wjlgatech/allin-anything (진행 과정: article-to-animated-understanding); 라이브 데모는 allin-anything-demo.vercel.app.

Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app · 이 페이지의 원본이 된 6세션 아티팩트 버전은 allin-anything 레포 안에 그대로 들어 있다. 이 에세이는 바로 그 과정이 내게 가르쳐준 것이다