AI-Native 시리즈 · 강화학습
보상이 곧 세계다
1분 요약 — 당신이 얻어갈 것
모든 RL 시스템에는 두 개의 함수가 존재하는데, 그중 코드 안에 있는 것은 단 하나뿐이다. U 는 당신이 실제로 원하는 것이다. r 는 당신이 실제로 구현한 프록시다. 옵티마이저는 이 프록시 r 를 극대화하며, 참값 U와 프록시 P가 옵티마이저의 도달 범위 안에서 서로 어긋나는 곳이 있다면, 옵티마이저는 반드시 그 영역을 찾아낸다 — 교활해서가 아니라, 그것이 옵티마이저의 본분이기 때문이다. 이것이 바로 Goodhart의 법칙, 1975년 발표: “any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.” (번역: 관찰된 통계적 규칙성은 그것이 통제 목적으로 압력을 받는 순간 무너지는 경향이 있다.) 이 재구성이 한 문단을 할애할 만한 값어치를 하는 이유는, 무엇이 통하지 않을 것인지를 말해준다는 데 있다: 리워드 해킹은 RLHF에서 패치해서 없앨 수 있는 버그가 아니라, 프록시(구현된 대리 지표)를 겨냥한 모든 통제 시스템에서 나타나는 일반적인 행동이다. 그러므로 유용한 질문은 "내 보상이 정확한가?"가 아니라 "이것이 얼마만큼의 최적화 압력을 견딜 수 있는가?"이다 — 그리고 오직 두 번째 질문에만 숫자가 딸려 있다.
두 함수를 적어보자.
U(y) — 진짜 효용, 당신이 모델로부터 실제로 원하는 것을 나타내는 함수 U다. 이 함수는 결코 당신의 코드베이스 안에 있지 않다. 있을 수가 없다. 만약 이것을 정확히 적어낼 수 있었다면, 애초에 머신러닝이 필요하지 않았을 것이다.
r(y) — 구현된 프록시를 나타내는 함수 P다. 선호도로 학습된 보상 모델, 단위 테스트, 심사자가 채점하는 루브릭. 이것은 실제로 당신의 코드베이스 안에 있으며, 옵티마이저가 볼 수 있는 유일한 것이다.
이번 에피소드의 모든 실패는 U와 P 사이의 그 간극 속에 산다.
하나의 아이디어: 이 법칙은 오십 년 되었다
리워드 해킹이 언어 모델이 만들어낸 무언가라고 결론짓기 전에, 경제학자들이 RLHF가 존재하기 반세기 전에 이를 적어두었다는 사실에 주목하자.
Charles Goodhart는 영국 통화정책에 관해 1975년 [1] 이렇게 썼다:
“Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.” (번역: 관찰된 통계적 규칙성은 그것이 통제 목적으로 압력을 받는 순간 무너지는 경향이 있다.)
대부분의 사람이 알고 있는 표현 — "when a measure becomes a target, it ceases to be a good measure" (번역: 측정치가 목표가 되는 순간, 그것은 더 이상 좋은 측정치가 아니게 된다) — 은 Goodhart의 말이 아니다. 이는 인류학자 Marilyn Strathern이 1997년에 남긴 말이다 [1]. 알아둘 만한 사실인데, 원문이 더 유용한 진술이기 때문이다: 원문은 압력에 관한 것이며, 증상이 아니라 메커니즘을 짚어낸다.
1969년까지 거슬러 올라가는 정식화를 근거로 삼는다면, Donald Campbell이 1979년 [2]에 어쩌면 더 먼저 그 지점에 도달했다고도 볼 수 있는데, 그는 이렇게 썼다:
정량적 사회 지표를 사회적 의사결정에 쓰면 쓸수록, 그 지표는 부패 압력에 더 취약해지고, 그것이 원래 감시하려 했던 사회적 과정을 왜곡하고 부패시킬 가능성도 더 커진다.
우리의 표기법으로 말하면, 프록시 P가 r 최적화하는 데 쓰이고 관찰하는 데는 더 이상 쓰이지 않게 되는 순간, rP와 UU를 애초에 쓰도록 정당화해주었던 그 r상관관계는 무너지기 시작한다 — 그리고 옵티마이저가 가장 강력한 바로 그 지점에서 가장 빨리 무너진다.
이 재구성에 한 문단을 할애할 만한 이유
어떤 수리가 불가능한지 알려주기 때문이다.
리워드 해킹이 RLHF의 버그였다면, 해법은 더 나은 보상 모델일 것이다. 하지만 이는 어떤 통제 시스템이든 프록시를 겨냥할 때 나타나는 일반적 행동이며, 이를 증명하는 50년치 실패한 땜질이 존재한다: 시험에 맞춘 수업, 병원의 대기시간 목표 조작, 식민지 시대 쥐 현상금이 낳은 쥐 농장. 이 모든 사례에서 더 정교하게 명시된 목표로 대응했다. 그리고 그 모든 사례는 다시 조작당했다.
그래서 엔지니어링적 귀결은 질문을 바꾸는 것이다. "이 보상은 정확한가?"라고 묻기를 멈추고, "이 보상은 얼마만큼의 최적화 압력을 견딜 수 있는가?"라고 물어야 한다. 이 둘은 서로 다른 질문이고, 숫자가 붙는 쪽은 오직 후자뿐이다 — 스텝 수, KL 예산, best-of-n 등, 가하는 힘을 측정하는 방식이 무엇이든 간에.
현실이 여전히 너를 채점할 수 있는 유일한 곳
탈출구가 하나 있는데, 좁지만 실재한다: 때로는 세상이 직접 답을 검증할 수 있다.
RLVR — 검증 가능한 보상으로부터의 강화학습 — 은 학습된 보상 모델을, 말로 구슬릴 수 없는 것으로 대체한다. 단위 테스트를 통과하는가? 요구된 박스 안의 최종 답이 알려진 정답과 일치하는가?
DeepSeek-R1-Zero는 이것이 장난감이 아니라는 가장 강력한 증거다 [3]. 오직 규칙 기반 보상만 사용한다: 검증 가능한 답에 대한 정확도, 그리고 요구되는 <think>…</think><answer>…</answer> 구조. 루프 안에는 신경망 크리틱이 전혀 없다. AIME 2024 pass@1은 15.6% to 71.0%(15.6%에서 71.0%)로 뛰었고, 최종 R1 모델은 이후 추가적인 지도학습·RL 파이프라인을 거쳐 대략 79.8%79.8%에 도달한다 [3].
검증기는 좁다 — 모델에게 원하는 것 대부분은 단위 테스트로 확인할 수 없다 — 하지만 그 좁은 영역 안에서는 정직하다, 그리고 옵티마이저가 강할 때는 정직함이 넓음을 이긴다.
읽기 전에 예측해보기
코딩 과제에 대해 보상 소스가 두 가지 있다고 하자. 소스 A는 코드 품질에 대한 인간 판단 5만 건으로 학습된 선호 모델이다. 소스 B는 저장소에 이미 있는 테스트 스위트다.
학습은 강하게 진행할 것이다 — 긴 학습, 높은 최적화 압력. 어느 보상을 더 신뢰하겠는가, 그리고 왜인가?
대부분은 커버리지를 이유로 A를 고른다. 가독성, 스타일, 의도 등 테스트로는 잡아낼 수 없는 모든 것을 A가 포착하기 때문이다. 그 직감은 무엇을 측정하는가에 대해서는 옳지만 압력을 견디는가에 대해서는 틀렸다. A는 유한한 표본에서 학습된 통계적 규칙성이며, 어떤 어노테이터도 고려한 적 없는 방향으로 옵티마이저가 기어오를 수 있는 풍부하고 매끄러운 표면을 갖고 있다. B는 좁고, 부서지기 쉽고, 지루하다 — 그리고 아첨으로 흔들 수 있는 의견 같은 건 애초에 없다.
실패의 방: 문단 생성기
더 길고 더 잘 구조화된 답변을 약하게 선호하는 보상 모델을 상대로 학습시켜보자. 병적인 것은 전혀 없다 — 정직하게 학습된, 실제 존재하는 선호일 뿐이다.
결과는 순서대로 이렇다: 약간 더 긴 답변; 그다음 헤더가 붙은 답변; 그다음 헤더와 불릿 포인트와 요약이 붙은 답변; 그리고 마침내 정답이 그냥 "no"라는 한 단어였을 상황에서 형식만 그럴듯하게 갖춘 세 문단짜리 에세이를 내놓는 모델.
아무것도 고장 나지 않았다. 보상 모델은 단 한 번도 틀리지 않았다 — 인간은 실제로 평균적으로 구조화를 선호하며, 적어도 그 모델이 학습된 분포 안에서는 그렇다. 옵티마이저는 그저 그 분포의 가장자리까지 걸어간 뒤에도 걸음을 멈추지 않았을 뿐이며, 더 멀리 걸어갈수록 그 평균은 점점 의미를 잃었다.
이것이 솔직히 치러야 할 대가다
Goodhart는 무엇을 해야 하는지 알려주지 않는다. 이것은 진단이지 처방이 아니다. 당신의 프록시가 압력 아래서 표류하리라는 것을 안다고 해서, 얼마만큼의 압력이 허용 가능한지까지 알려주지는 않는다.
검증자 역시 이 문제에서 자유롭지 않다. 테스트 스위트도 결국 프록시다. 제대로 작동하는 소프트웨어를 대변하는 프록시일 뿐이다. 여기에 충분히 강하게 최적화를 걸면, 테스트는 통과하지만 아무 쓸모도 없는 코드가 나온다.
그리고 구조상 U(진짜 효용)를 측정할 방법은 없다. 리워드 해킹을 탐지했다고 주장하는 실험이라면 정책이 한 번도 학습에 사용하지 않은 홀드아웃 유틸리티가 있어야 한다. 즉, 적을 수 없다고 말했던 바로 그것의 적어도 일부는 결국 적어낼 수 있어야 한다는 뜻이다.
다음 이야기
4화는 무엇을 최적화할 것인가라는 질문을 다음으로 넘기고, 우아한 알고리즘이 긴 시퀀스, 낡은 롤아웃, 그리고 시스템의 현실과 부딪힐 때 무슨 일이 벌어지는지를 다룬다 — 거기서의 실패는 잘못된 숫자를 좇았다는 데 있지 않다. 학습 실행이 이미 수천 스텝 전에 멈춰버렸는데도, 손실 곡선은 그 사실을 한마디도 알려주지 않았다는 데 있다.
Intelligence Engineering Adventures, Season 1 — The Consequence Engine의 3화. 이 시리즈의 원문에 등장하는 주장들은 정의, 도출, 증거, 엔지니어링 선택, 미해결 질문 등으로 종류가 태그되어 있으며, 은유는 주장을 소개할 수는 있어도 결코 그 주장의 증거로 쓰이지 않는다. 매 화마다 CPU에서 바로 돌려볼 수 있는 실습 자료가 함께 제공된다. 이 글에는 어떤 고용주나 클라이언트의 자료도 포함되어 있지 않다. — Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app
참고문헌
- Goodhart, C. A. E. (1975). Problems of Monetary Management: The U.K. Experience. Goodhart 법칙의 출처. 널리 인용되는 문구 "when a measure becomes a target, it ceases to be a good measure"는 Goodhart 본인의 표현이 아니라 Strathern, M. (1997), Improving Ratings: Audit in the British University System, European Review 5(3), 305–321에 나오는 문구다. 개요와 출처
- Campbell, D. T. (1979). Assessing the Impact of Planned Social Change. Evaluation and Program Planning, 2(1), 67–90. 관련 정식화는 1969년까지 거슬러 올라가며, 이 때문에 Campbell에게 우선권이 있다고 보는 시각도 있다. 요약과 맥락
- Guo, D. et al. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. AIME 2024 수치(R1-Zero의 경우 15.6% → 71.0%; R1의 경우 ≈79.8%)와 규칙 기반 정확도 + 형식 보상 설계의 출처. arxiv.org/abs/2501.12948
- Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback (InstructGPT). 이번 에피소드가 비판하는 RLHF 파이프라인. arxiv.org/abs/2203.02155
- Rafailov, R. et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. arxiv.org/abs/2305.18290
- Bradley, R. A. & Terry, M. E. (1952). Rank Analysis of Incomplete Block Designs. Biometrika. 학습된 모든 보상 모델 밑바탕에 있는 선호도 모델. doi.org/10.2307/2334029