AI-Native 시리즈 · 강화학습
The Consequence Engine
1분 요약 — 이 글에서 얻어갈 것
언어 모델을 위한 강화학습은 마치 동물원처럼 보인다: REINFORCE, RLOO, PPO, GRPO, DAPO, Dr.GRPO, GSPO, CISPO, RLVR. 아홉 개의 서로 다른 주제처럼 읽힌다. 하지만 이것은 일곱 상자짜리 루프 하나 — 과제(task), 정책, 롤아웃, 보상, 기여도 할당, 업데이트, 평가 — 일 뿐이며, 거의 모든 약어는 한두 개의 상자만 수정할 뿐, 전체를 바꾸지는 않는다. 이들을 나란히 놓아보면일곱 중 다섯은 하나의 항을 두고 논쟁하고 있다: 어떤 행동이 얼마만큼의 보상을 받을 자격이 있는가 하는 문제다. 이건 초심자를 위한 단순화가 아니다. 무언가 고장 났을 때 어떤 논문을 읽어야 할지 알려주는 지도다. 이게 왜 중요한지 보여주는 증거가 있다. DeepSeek-R1-Zero는 AIME 2024 점수를 15.6%에서 71.0%로 끌어올렸는데, 보상 상자와 기여도 할당 상자를 바꾸는 것만으로 해냈다. 지도 미세조정도, 학습된 크리틱도 없이 말이다. 같은 일곱 상자. 두 군데만 수정했을 뿐이다.
언어 모델을 위한 강화학습에 관한 글을 읽다 보면 특유의 피로감이 밀려온다.
PPO로 시작한다. 그러다 누군가 PPO는 이제 끝났고 GRPO의 시대라고 말한다. 그다음엔 GRPO에 편향이 있다며 Dr.GRPO가 등장한다. 그러다 GRPO가 대규모에서 붕괴한다며 DAPO가 나온다. 그다음엔 비율이 잘못된 단위로 계산됐다며 GSPO가 나온다. 그다음엔 클리핑이 흥미로운 토큰들을 삭제해버린다며 CISPO가 나온다. 그다음엔 학습 엔진과 추론 엔진이 서로 다른 확률을 할당한다며 TIS가 나온다.
아홉 개째 약어에 다다르면, 솔직한 내면의 독백은 이렇다: 하나의 아이디어를 이해하려고 아홉 편의 논문을 읽어야 한다는 건가?
아니다. 필요한 건 그림 하나뿐이다.
하나의 아이디어: 일곱 개의 상자, 그리고 모두가 그중 두 개를 수정한다
사전학습과 지도 미세조정은 모델에게 같은 질문을 서로 다른 억양으로 던진다: 원하는 출력을 예측하거나 모방할 수 있는가?
강화학습은 범주적으로 다른 것을 묻는다:
행동하고, 그 결과를 관찰하고, 유용한 결과가 더 자주 나오도록 미래 행동의 확률을 바꿀 수 있는가?
이것이 이 주제 전체를 한 문장으로 요약한 것이며, 이는 일곱 가지 역할을 가진 루프로 작동한다. 과제 — 모델이 처한 상황이 무엇인가. 정책 — 가능한 행동들에 어떤 확률을 부여하는가. 롤아웃 — 실제로 샘플링했을 때 모델이 무엇을 했는가. 보상 — 그 결과가 얼마나 좋았는가. 기여도 할당 — 어느 행동이 칭찬이나 비난을 받아야 하는가. 업데이트 — 파라미터를 바꾼다. 평가 — 그 변화가 일반화된 것인지, 아니면 그저 스코어보드를 만족시켰을 뿐인지.
이제 유용한 부분이다. 아홉 개의 약어를 놓고, 각각이 어느 상자를 건드리는지 물어보자.
일곱 중 다섯이 같은 상자에 착지한다. 이들은 아홉 개의 서로 다른 주제가 아니다. 하나의 질문을 두고 벌어지는 하나의 긴 논쟁이다 — 이 결과가 우리가 기대했어야 할 수준보다 나았는가? — 이전 답이 무너지는 새로운 방식을 계속 찾아낸 사람들이 벌여온 논쟁이다.
이 관찰 하나만으로도 약어發 정신적 탈수 상태는 면할 수 있다.
왜 이 루프는 교육용 장치가 아닌가
일곱 개의 상자가 이런 글을 위해 만들어낸 친절한 다이어그램일 뿐이고, 실제 시스템은 훨씬 지저분하지 않겠냐고 의심하는 것도 합리적이다. 여기 내 생각을 바꾼 반증 사례가 있다.
DeepSeek-R1-Zero는 베이스 모델을 가지고 AIME 2024 pass@1 점수를 15.6%에서 71.0%로 끌어올렸다 [1]. 경쟁 수학 벤치마크에서 대략 네 배다. 최종 R1 모델은 79.8% 추가적인 지도 미세조정·RL 파이프라인을 거친 뒤 이 정도 수준에 도달한다 [1].
그들은 무엇을 바꿨는가? 아키텍처가 아니다. 프리트레이닝도 아니다. 그들이 바꾼 것은 보상 상자였다 — 학습된 신경망 크리틱을 규칙 기반 신호로 대체했다: 최종 답이 요구된 표기 틀 안에 정확히 들어 있는가, 그리고 출력이 요구된 <think>…</think><answer>…</answer> 형식을 따르는가 [1]. 그리고 그들이 바꾼 것은 기여도 할당 상자였다. GRPO를 사용해서 학습된 가치 모델을 버리고, 대신 같은 그룹의 롤아웃들로부터 기준선을 계산했다 [2].
두 개의 상자. 네 배의 개선. 이 루프가 실제로 성능을 떠받치고 있다는 증거다.
메커니즘을 한 겹 더 들어가 보면: RL은 확률 질량을 옮긴다
이것은 내가 부끄러울 정도로 오래 걸려서야 체득한 것이고, 이후에 나오는 모든 약어를 이해 가능하게 만들어주는 것이다.
정책 그레이디언트 업데이트는 모델에게 어떤 사실을 가르치지 않는다. 그것은 확률 질량을 재분배할 뿐이다. 롤아웃이 잘 되면 업데이트는 그것을 만들어낸 토큰 시퀀스의 확률을 높이고 — 확률의 합은 1이어야 하므로 — 나머지 모든 것의 확률을 조금씩 낮춘다. 그게 전부다.
여기서 위험성이 곧바로 드러난다. 모델이 열 번 시도 중 한 번 문제를 정확히 풀었고, 그 한 번의 성공에 대해 훈련시킨다고 하자. 모델이 추론 절차를 배운 것인가? 아니면 그저 운이 좋았을 뿐이고, 이제 당신은 그 운 좋은 경로의 확률을 더 높여놓은 것인가?
결과만으로는 알 수 없다. 같은 보상, 완전히 다른 두 개의 학습 사건 — 보상 신호만으로는 구별이 불가능하다. 바로 이 실패가 그 인포그래픽의 기여도 할당 열 전체가 존재하는 이유이며, 첫 번째 해법은 너무 단순해서 별것 아닌 것처럼 들리는 질문이다:
이 결과는 우리가 기대했어야 할 수준보다 나은가?
기대치를 빼는 순간, 운을 보상하는 일은 멈춘다. 그 빼기 연산이 바로 기준선이다. 그 기대치를 별도의 모델로 학습하면 크리틱이 되고, 그룹으로부터 계산하면 GRPO가 되며, 그것을 어떻게 정규화할지를 두고 논쟁하면 Dr.GRPO가 된다. 끝까지 파고들어도 결국은 하나의 항일 뿐이다.
다음을 읽기 전에 먼저 예측해보라
다음 절로 넘어가기 전에 하나의 답을 정해두자 — 예측은 틀릴 수 있어야 예측이다.
당신의 모델이 수학 문제를 열 번 중 한 번 정확히 푼다. 당신은 그 단 한 번의 성공한 궤적으로 미세조정을 한다. 무슨 일이 일어난 것인가: (a) 추론 알고리즘을 배웠다, (b) 좁은 궤적 하나를 암기했다, (c) 우연히 잘 통했던 영역 주변의 확률을 끌어올렸다 — 이 중 무엇인가?
연구 수준에서의 정답은 결과만으로는 판단할 수 없다는 것이며, 그렇지 않다고 주장하는 것은 사실 당신의 모델이 아니라 당신의 평가 방식에 대한 주장이다. 이 세 가지 가설을 구분하려면 pass@k, 의도적인 탐색 측정, 그리고 홀드아웃 분포 변화가 필요하다. 만약 당신의 평가가 단일 정확도 수치 하나만 보고한다면, 세 가지는 모두 똑같아 보인다.
솔직히 말해서, 이 지도가 요구하는 대가
일곱 상자 지도는 하나의 압축이고, 압축은 무언가를 잃는다. 중요한 세 가지가 있다.
이것은 진짜 수학적 차이들을 납작하게 만든다. PPO의 클립된 대리 목적함수(clipped surrogate objective)와 GRPO의 그룹 상대 어드밴티지(group-relative advantage)는 둘 다 기여도 할당 열에 속한다는 이유만으로 서로 바꿔 쓸 수 있는 것이 아니다. 이 지도는 어디를 봐야 할지 알려줄 뿐, 그 유도 과정까지 알려주지는 않는다.
두 개의 상자는 일부러 빠져 있다. 실제 시스템에는 같은 토큰에 서로 다른 확률을 부여할 수 있는 훈련 엔진과 추론 엔진이 있고, 롤아웃이 폐기되기 전에 얼마나 낡아도 되는지를 결정하는 비동기 스케줄러가 있다. 이것들은 상자와 상자 사이에 살면서 진짜로 골치 아픈 부류의 버그를 일으킨다.
그리고 그 지도는 무엇을 최적화해야 하는지 알려주지 않는다. 보상 이후에 오는 모든 상자는 당신이 선택한 어떤 숫자를 추구하기 위한 장치일 뿐이다. 그것을 잘못 선택하는 것은 기여도 할당 상자가 고칠 수 있는 버그가 아니다 — 이것이 3화의 주제이며, 이 시리즈에서 가장 오래된 문제이기도 하다.
직접 돌려보기, 15분이면 충분하다
"기준선은 분산을 줄인다"는 주장은 고개를 끄덕이기는 쉽지만, 직접 보기 전까지는 정말로 믿기 어려운 종류의 것이다. 이번 시즌은 에피소드마다 GPU 없이, 모델 다운로드 없이, 순정 PyTorch만으로 돌아가는 CPU 실습 랩을 제공한다.
1화의 실습 랩은 같은 과제, 같은 시드에서 기준선이 있는 경우와 없는 경우로 정책 그래디언트를 각각 돌리고, 업데이트의 분산을 그래프로 그린다. 여기서 확인해야 할 것은 기준선 버전의 점수가 더 높다는 사실이 아니다. 기준선이 없는 버전도 결국은 거기에 도달한다는 것, 다만 그 과정 내내 심하게 요동친다는 점이다. 기준선을 제거해도 추정량이 틀리게 되는 것은 아니다. 다만 비용이 커질 뿐이다. 이 구분이야말로 기준선이 표준이 되기까지 수년이 걸린 이유이며, 최종 숫자만 보고하는 어떤 글에서도 보이지 않는 부분이다.
이 여정의 끝에는
다섯 개의 에피소드, 하나의 루프. 각 에피소드는 다음 에피소드로 넘어갈 자격을 스스로 증명한다.
2화는 기여도 할당 상자를 제대로 열어본다 — 로그 미분 트릭, 기준선, 어드밴티지, 그리고 REINFORCE에서 PPO를 거쳐 GRPO로 이어지는 길을 하나의 연속된 논증으로 다룬다. 3화는 스코어보드 자체가 틀렸을 때 무슨 일이 벌어지는지 묻고, 경제학자들이 이미 1975년에 그 법칙을 정리해두었다는 사실을 발견한다. 4화는 우아한 알고리즘이 긴 시퀀스와 오래된 롤아웃을 만났을 때 벌어지는 일이다. 5화는 모델이 더 이상 텍스트를 생성하지 않고, 응답해오는 세계 속에서 행동을 시작할 때다.
이번 편에서 가져가야 할 한 가지: 다음 약어가 등장하면 — 그리고 아마 이번 달 안에 등장할 텐데 — 그것이 무엇인지 묻지 마라. 그것이 어느 상자를 수정하는지 물어라. 그 질문은 어떤 초록에서든 90초 안에 답할 수 있으며, 그 논문이 지금 당신의 실행에서 고장 난 부분과 관련이 있는지 알려준다.
이 글은 다음의 1화다: Intelligence Engineering Adventures, Season 1 — The Consequence Engine. 실행 가능한 실습 랩, 다이어그램, 그리고 다섯 편 전체의 흐름은 시리즈 소스에 담겨 있다. 이 글의 주장들은 소스 안에서 유형별로 태그되어 있다 — 정의, 도출, 증거, 엔지니어링 선택, 열린 질문 — 그리고 은유는 주장을 소개할 수는 있어도 결코 그 주장의 증거로 쓰이지 않는다. 이 글에는 어떤 고용주나 클라이언트의 자료도 포함되어 있지 않다. — Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app
참고문헌
- Guo, D. et al. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. AIME 2024 pass@1 수치(R1-Zero의 15.6% → 71.0%; R1의 약 79.8%)와 규칙 기반 정확도 + 형식 보상 설계의 출처. arxiv.org/abs/2501.12948
- Shao, Z. et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. GRPO를 소개한다 — 학습된 크리틱을 제거하는 그룹 상대 기준선. arxiv.org/abs/2402.03300
- Yu, Q. et al. (2025). DAPO: An Open-Source LLM Reinforcement Learning System at Scale. Clip-Higher와 Dynamic Sampling; Qwen2.5-32B로 AIME 2024에서 50점을 기록해, DeepSeek-R1-Zero-Qwen-32B의 47점을 학습 스텝의 50%만으로 앞질렀다. arxiv.org/abs/2503.14476
- Liu, Z. et al. (2025). Understanding R1-Zero-Like Training: A Critical Perspective (Dr.GRPO). GRPO의 길이 편향과 표준편차 정규화로 인한 난이도 편향을 밝혀낸다. arxiv.org/abs/2503.20783
- Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning. REINFORCE의 원 논문. link.springer.com/article/10.1007/BF00992696
- Sutton, R. & Barto, A. (2018). Reinforcement Learning: An Introduction, 2nd ed. 여기서 사용한 공식 정의의 출처. incompleteideas.net/book/the-book-2nd.html
- Ahmadian, A. et al. (2024). Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs. arxiv.org/abs/2402.14740