내 논문을 거부한 필터

1. 고전을 숭배하지 말고 측정하라

다들 비트코인 백서와 Attention Is All You Need를 모범 사례로 인용한다. 하지만 실제로 측정해 보는 사람은 거의 없다. pdftotext 2분만 들이면 경외심보다 나은 것을 얻을 수 있다:

내가 가장 아끼던 가설이 바로 이 표에서 죽었다. "고전은 유행하는 프리프린트가 아니라 오래되고 정립된 연구 위에 쌓인다"는 가설은 비트코인에는 완벽하게 들어맞고, 실제 계량서지학 연구로도 뒷받침되며, 유행을 좇기보다 원리를 중시하는 사람이라면 누구나 흡족해할 만하다. 하지만 이 가설을 그대로 적용했다면 그 시대에 가장 많이 인용된 AI 논문마저 탈락시켰을 것이다. 참고문헌의 나이는 그 분야가 얼마나 빠르게 움직이는지를 보여줄 뿐, 논문의 질을 말해주지는 않는다.

한 가지 사례에 들어맞는 휴리스틱은 우연의 일치일 뿐이다.

실제로 버텨낸 것은 뺄셈이었다. 비트코인은 신뢰받는 제3자를 제거한다. 어텐션은 순환과 합성곱을 제거한다 — 제목 자체가 곧 그 주장이다. 둘 다 무언가를 더하지 않고 하나를 삭제한 뒤, 그 삭제가 유효함을 증명한다. 그래서 후속 연구들은 이 논문들의 출처를 인용하는 대신 이 논문들 자체를 인용한다. 서지학자들이 말하는 '파괴적 혁신(disruption)'이 바로 이것이다.

2. 그리고 열두 편의 고전이 필터를 감사했다

우연의 일치를 잡아내기에는 두 사례로 충분하지만, 규칙을 세우기에는 부족하다. 그래서 여덟 개 분야를 아우르는 열 편을 더 추가해 같은 방식으로 측정했다 — Shannon, Turing, Einstein, Diffie–Hellman, Codd, Kahneman & Tversky, McCulloch & Pitts, AlexNet, Nash, Watson & Crick.

세 가지 기준은 어디서든 살아남았다. 여덟 개 분야 전체를 통틀어 실패가 하나도 없었다: 특정한 미해결 문제를 명시하는가, 낯선 사람도 실행할 수 있는 메커니즘을 넘겨주는가, 무엇이 자신을 반증할지 말하는가 하는 것이다. 물리학에서 생물학, 행동경제학까지 마찬가지였다.

그리고 뺄셈 논제는 더 강해졌다 — 가장 위대한 논문 중 세 편이 그 제거를 저자 자신의 말로 명시하고 있다:

"The introduction of a 'luminiferous ether' will prove to be superfluous." — Einstein, 1905 (번역: '발광 에테르'의 도입은 불필요한 것으로 판명될 것이다.)

"These semantic aspects of communication are irrelevant to the engineering problem." — Shannon, 1948 (번역: 통신의 이러한 의미론적 측면은 공학적 문제와는 무관하다.)

"there can be no general process for determining whether a given formula … is provable" — Turing, 1936 (번역: 주어진 공식이 … 증명 가능한지를 판별하는 일반적인 절차는 존재할 수 없다.)

그다음이 비용이 큰 부분이었다. 내 기준 중 하나는 비중 있는 논문이라면 짧아야 한다는 것이었다 — 7,000단어 미만. 이 기준은 열두 편 중 여덟 편에서 실패했다. Shannon의 논문은 29,445단어로, 한도의 네 배가 넘는다. Turing, Einstein, Diffie–Hellman, Codd, Kahneman & Tversky도 모두 이 기준을 훌쩍 넘겼다.

Shannon, Turing, Einstein을 탈락시키는 규칙은 품질 기준이 아니다. 그것은 표본 두 개의 평균에 불과했다.

나는 이 기준을 삭제하고 그 이유를 기록해두었다. 슬그머니 되돌아올 수 없도록 말이다. 두 번째 기준은 격하되었다: 뺄셈은 더 이상 필수 요건이 아니다. AlexNet의 초록은 순전히 덧셈적이다 — "기존 최고 성능보다 상당히 우수하다(considerably better than the previous state-of-the-art)." 수작업으로 설계한 특징(hand-engineered features)은 그 논문의 결과로서 죽었을 뿐, 그 논문의 주장으로서 죽은 것이 아니었다. 뺄셈은 논문이 어떻게 틀 지어지는가를 측정하고, 대체는 그것이 무엇을 대체하는가를 측정한다. 후자만이 필수가 될 수 있다. 그렇지 않으면 필터는 그 10년간 가장 영향력 있는 비전 논문을 겸손하게 썼다는 이유로 걸러내게 된다.

최악의 발견은 기준이 아니라 도구 자체에 관한 것이었다: 필터는 여덟 편의 고전이 그 안에서 실패하고 있는 동안에도 깔끔한 통과를 보고했다. 필터는 기준선에 미달한 대상만 출력했고, 그래서 고장 난 기준은 눈에 띄지 않은 채로 남아 있었다. 전체 말뭉치에 걸쳐 감사할 수 없는 필터는, 검증하는 것이 아니라 그저 신뢰하고 있는 필터다.

3. 이전: 아직 아님

기준을 수리한 뒤, 필터를 내 프리프린트에 돌렸더니 거부당했다:

NOT YET   omi-v0.1: 4/5
  ✗ substitution-test: `displaces` is empty — name the work later papers
    would cite this INSTEAD OF, or accept that this joins a literature
    rather than redirecting it

진단은 정확했다. 내 논문은 나 자신의 원칙을 체크 항목으로 컴파일한 것이었다. 그것은 하나의 사례일 뿐이다. 어떤 방법론이 저자 자신이 작성하지 않은 명세에 구속력을 갖는지, 나는 한 번도 시도해본 적이 없었다.

4. 이후: 방법론이, 검증받을 생각조차 없던 문서와 만나다

그래서 나는 나와 아무 관련이 없는 실제 공개 서약 문서 두 개를 컴파일했다. 첫 번째는 OECD AI 원칙 — 현존하는 AI 가치 텍스트 중 가장 널리 채택된 것이다. 모든 조항에 같은 질문을 던졌다: 이것이 제3자가 관찰할 수 있는 무언가를 명시하는가, 실패?

10개 조항 중 4개가 그렇다. 나머지 여섯 개는 쓰인 그대로는 실패할 수 없으며, 측정 결과가 그 이유를 보여준다. 원칙 1.1~1.5의 592단어 전체에서 "must"는 0회, "shall"도 0회, "should"는 11회 등장하며 — 여기에 회피성 수식어 열두 개가 더해진다: "appropriate to the context(맥락에 적절한)"가 세 번, "consistent with the state of the art(최신 기술 수준에 부합하는)"가 세 번, "where technically feasible(기술적으로 가능한 경우)", "as appropriate(적절히)".

이것이 OECD에 대한 비판은 아니다. 이 문서는 각국 정부를 향한 권고안으로, 설계상 구속력이 없으며 합의에 의해 채택된 것이다 — 애초에 내가 지금 들이대는 기준을 스스로에게 부과한 적이 없다. 바로 그 점이 이것을 공정한 테스트로 만든다: 검증받을 생각 없이 쓰인 문서에서도 이 방법이 뭔가 쓸모 있는 것을 찾아낸다면, 그 방법은 제 몫을 하고 있는 셈이다.

대조를 위해 나는 Anthropic의 Responsible Scaling Policy도 컴파일했는데, 이는 5점 만점에 4점을 받았다 — 이 문서가 스스로 검증 가능하도록 설계된 덕분이다: "must" 14회, "will" 130회, 그리고 구체적인 임계값을 명시한 조건문 구조. 그리고 정직한 한계는 각주가 아니라 검사 항목을 통해 강제된다: 50%를 넘는 점수를 받은 문서는 좋은 점수가 증명하지 못하는 것이 무엇인지 명시해야 한다. 그 정책의 모든 임계값은 그 정책에 구속되는 회사 자신이 정하고 판정한다. 검증 가능한 문장이 곧 외부 강제력을 의미하지는 않는다.

기준 중 어느 것도 논문을 통과시키기 위해 바뀌지 않았다.

기준은 그대로 두고 대상만 바꾼 것, 이 구분이 핵심이다. 자기 필터를 소유할 때 가장 손쉬운 실패는 그 필터와 타협하는 것이다. 기준은 움직이지 않았다. 움직인 것은 대상 그 자체였다.

5. 가장 값진 결과는 나에게 대가를 치르게 한 결과였다

다른 사람이 작성한 규격을 컴파일하자 내 프레임워크에 없는 두 개의 체크가 드러났다. OECD는 시스템이 "can be overridden, repaired, and/or decommissioned safely" (번역: 안전하게 무효화되거나, 수리되거나, 혹은 폐기될 수 있어야 한다)해야 한다고 요구하는데 — 나에게는 그것을 검사하는 장치가 없다. 내 것은 데이터 유출을 검사할 뿐, 시스템 무효화는 검사하지 않는다. Anthropic은 정기적인 역량 테스트를 약속하는데 — 나에게는 릴리스에 테스트 주기를 결부시키는 장치가 전혀 없다.

내 선언문을 컴파일했다면 이 둘 중 어느 것도 드러날 수 없었을 것이다. 스스로 던질 생각조차 하지 못한 질문은, 자기 답안을 다시 읽는다고 해서 찾아낼 수 없다.

나는 이 둘을 구현하지 않았다. 어떤 검사가 통과하는 이유가 그것이 검사하는 대상 자체를 아무도 선언하지 않았기 때문이라면, 그것은 공허한 통과이며, 내 규칙은 그것을 금지한다. 이 둘에는 이름을 붙였고 소유자를 지정했으며 v0.3으로 날짜를 매겼다. 이제 발견된 결함에 소유자가 없으면 체크가 실패하도록 되어 있으니, 이것은 조용히 사라지는 메모가 아니라 실제로 해야 할 작업이다.

6. 감사관 자체도 감사해야 했다

나는 다른 레포에서 가져온 독립적인 주장 검증 도구를 이 논문에 겨눠보았다. 그 결과는 이랬다. "NOT READY — 14 over-claims." (번역: 아직 준비되지 않음 — 과잉 주장 14건) 놀랄 만한 결과였지만, 하나하나 읽어보니 실체는 이랬다: LaTeX 표 전문(preamble), 참고문헌 항목들, 그리고 — 최고의 반전은 — 논문 자체의 Limitations 절이었는데, 정직하게 스스로의 한계를 밝힌 것이 과잉 주장으로 표시된 것이었다.

열넷 중 진짜인 것은 정확히 하나뿐이었다 (아첨 관련 문헌에 대한 출처 없는 특징화 하나). 그 도구의 README는 이미 추출기가 공격적이라고 경고한 바 있었다. 이제 내 도구함 속 모든 강력한 도구는 내가 직접 측정한 한계치를 갖고 있다. 한계를 측정하지 않은 도구는 권위만 앞세워 오히려 논문을 더 나쁘게 만들기 때문이다.