AI 네이티브 시리즈 · 학습

나는 박사(PhD, Physical Head Damage) 따기를 그만뒀다.

어려운 기술 자료를 익히는 낡은 방식은 이렇다: 머리가 아플 때까지 슬라이드를 갈아넣고, 슬로건만 남기고, 실제 문제가 조금만 다르게 생겨도 무너진다. 나는 그 대신 놀이, 가르치기, 만들기로 배우는 방법을 만들었다 — 그리고 그것에 대한 첫 정직한 테스트를 실시했다.

모든 엔지니어는 그 갈아넣기를 안다. 강의 PDF 14개를 연다. 형광펜을 긋는다. 다시 읽는다. 머리가 아파오기 시작한다 — 이걸 진짜 박사(PhD), 즉 Physical Head Damage라고 부르자 — 그리고 결국 남는 건 암송 뿐이다. "에이전트는 워크플로보다 강력하다"거나 "컨텍스트 엔지니어링이 중요하다"는 식으로. 그러다 실제 설계 질문이 슬라이드와 조금 다른 모습으로 나타나면, 그 기억은 순식간에 증발해버린다. 말을 배운 것이지, 그 실체를 배운 게 아니다.

나는 이게 규율의 문제라고 생각하지 않는다. 나는 이게 방법의 문제라고 본다 — 그리고 고칠 수 있는 문제다. 그래서 나는 학습 방법인 master-anything을 하나의 법칙 위에 만들었고, 그다음 사람들이 건너뛰는 그 일을 했다: 정직하게 테스트했고, 얼마나 부실한 부분이 있는지까지 포함해서 증거를 다 보여준다.

하나의 법칙: AI는 스캐폴드를 잡고, 인간은 펜을 잡는다

모든 AI 학습 도구의 함정은 그것이 기꺼이 생각을 대신해준다는 점이다 — 당신 대신 말이다. 에이전트를 설명해달라고 하면 멋진 설명을 써주는데, 당신은 그걸 읽고 고개를 끄덕이고는 잊어버린다. 설명을 읽는 것은 학습을 일으키는 행위가 아니다. 설명을 생성하는 것이 그 행위다. (학습 과학에서는 이를 생성 효과라 부르며, 이 분야에서 가장 많이 재현된 발견 중 하나다.)

그래서 master-anything은 노력이 필요한 생성적 행위를 인간의 몫으로 남겨두도록 설계되었다. AI는 검색하고, 구조화하고, 반응하고, 검증하고, 렌더링하고, 기억한다 — 생각 주변의 모든 것을 담당한다. 하지만 설명은 당신이 쓴다. 답이 공개되기 전에 당신이 먼저 고쳐본다. 보여주기 전에 당신이 먼저 예측한다. AI는 스캐폴드를 잡고, 당신은 펜을 잡는다. 떠넘기는 것은 애초에 설계에서 배제되어 있다.

이것이 학습과 작업을 같은 행위로 만드는 이유: 결과물이 당신의 생성적 행위(AI가 뼈대를 잡아준)로 만들어진다면, 작업과 학습은 하나의 활동이 된다. 당신은 실제 산출물과 검증된 이해를 동시에 얻고 끝낸다 — 트레이드오프가 아니라 단 하나의 노력에서 나온 결과다.

테스트: 같은 시험, 두 명의 학습자

자료: Stanford의 Modern Software Developer 강의 중 "코딩 에이전트를 설계하는 법" 유닛 — 에이전트형 루프, 컨텍스트 엔지니어링, 언제 도구를 추가할지, 워크플로우와 에이전트의 구분. 시험: 객관식이 아니라 전이 프로브(transfer probes) — 암기로는 답할 수 없는 새로운 시나리오다. 별도의 회의적인 검증자가 판단하는 것은 메커니즘 이해인지, 유창함인지가 아니라, 슬로건을 잡아내도록 만들어졌다는 데 있다. (이 대목이 중요하다: 연구에 따르면 자체 정렬 퀴즈는 점수를 3~6배 부풀리며, 전이 프로브가 그 해독제다.)

학습자 A는 그라인드 경로를 택했다 — 읽고, 암송할 수 있다. 학습자 B는 master-anything 루프를 택했다 — 소스를 압축하고, 가르쳐보고, 프로브를 받고, 표현했다. 둘 다 동일한 세 개의 프로브를 거쳤다. 어려운 실제 예시 프로브를 하나 보자:

An agent refactors 40 files over several hours, across separate
sessions — no single context window holds the job. Mid-session 3
it needs to know: was file X already done in session 1, and what
naming convention was chosen? Session 1's conversation is gone.
How does that information reach session 3?

판정 결과 (같은 검증자, 정반대 결과)

위 프로브에 대한 학습자 B의 답변은 "상태는 창(window) 바깥에 존재한다"를 그대로 암송하지 않았다. 이 답변은 메커니즘을 실제로 사용했다: 세션 3은 이전 대화가 필요 없다 — 시작할 때 지속 산출물(진행 체크리스트, git diff, 결정 사항 파일)을 읽어, 필요한 것만 그때그때 가져온다. 그것이 전이다. 암기로는 결코 흉내 낼 수 없는 것이다.

증거가 얇은 지점 (✅를 위조하는 것이야말로 유일하게 용서받지 못할 짓이기에)

이 결과를 과대 포장하지는 않겠다. 이 테스트가 정확히 무엇이고 무엇이 아닌지 밝혀둔다:

• n=1이며, 학습자 B는 시뮬레이션이지 실제 사람이 아니다. 이는 두 가지는 확실히 입증한다. 이 측정 도구가 암기와 전이를 구별해낸다는 것, 그리고 이 루프의 산출물이 진짜라는 것이다. 다만 아니다 — 사람을 대상으로 한 RCT는 아니다. 실제 사람에게서 얻은 데이터 포인트(다른 주제, "다시 하겠다" 5점 만점에 4점)는 별도이며 규모도 작다. 진짜 증거는 아직 나오지 않은 기업 코호트에 있다.
• 공식 "Anthropic Claude 아키텍트 시험" 같은 건 없다. 여기 나온 시험은 내가 그 강좌 자체의 학습 목표에서 뽑아 만든 전이 평가다. 진짜 외부 인증이 있다면 더 강력한 검증이 되겠지만, 아직 그런 건 존재하지 않는다. 그렇지 않다고 말한다면, 이 방법이 애초에 잡아내려는 바로 그 오류 — 실체 없이 슬로건만 앞세우는 것 — 를 스스로 저지르는 셈이다.
• 즉각적인 평가일 뿐, 지연 평가가 아니다. 지속적인 기억 여부를 확인하려면 +7일 시점의 검증이 필요하다. 이 주제로는 아직 실행하지 않았다.

그라인드가 아니라 놀이·가르치기·만들기로 배운다

놀이/가르치기/만들기 경로는 동기부여용 슬로건이 아니라 하나의 메커니즘이다. 가르치기는 생성 효과다(가르치며 설명하는 것 자체가 시험이다). 놀이 — 개념을 노래나 움직이는 아바타로 바꾸는 것 — 는 다중 양식 부호화로, 기억에 오래 남게 하면서 동시에 재미도 준다. 만들기 — 실제 에이전트 루프를 돌리고, 실제로 심어놓은 버그를 고치는 것 — 는 역량을 증명하는 산출물이다. 이 중 어느 것도 그라인드가 아니다. 셋 다 펜을 당신 손에 쥐어준다.

그라인드는 Physical Head Damage와, 실제 문제 앞에서 무너지는 암기만 남긴다. 반면 루프는 통과한 전이 시험과 손에 남는 산출물, 그리고 — 추정이 아니라 측정된 — '다시 하고 싶은 세션'을 남긴다. 같은 어려운 자료, 정반대의 결과. 차이는 누가 펜을 쥐고 있는가에 있다.

여기 나온 모든 것은 실재하며 검증 가능하다 — 시험, 두 설명, 프로브, 판정 JSON, 스파인 이벤트까지. 방법도, 솔직한 한계도, 설계 법칙도 모두 공개되어 있다.

계속 읽기

• 내 AI 공동창업자가 48시간 내리 일했다 — 거절이야말로 결과물이었다.
• 어떤 분야든 10배 빠르게 배우기 — 이 집착의 이전 장.

AI-네이티브 시리즈의 일부다. 도구는 github.com/wjlgatech에 공개되어 있다 — 펜은 당신이 쥔다.