버전은 어떻게 번호를 얻는가

정신적 모델: 버전은 하나의 주장이며, 주장에는 형태가 있다

여기 하나만 기억하면 된다. 모든 작업물은 주장을 하나 한다. 그리고 주장에는 두 가지 형태가 있다:

하나는 인스턴스(instance) 주장이다: "나는 이것을 했다." 다른 하나는 방법(method) 주장이다: "누구든 이것을 할 수 있다, 내가 한 번도 보지 못한 입력에 대해서도."

둘은 비슷해 보이지만 다르다. 인스턴스는 완벽할 수 있지만 영원히 인스턴스일 뿐이다. 아무리 다듬어도 하나가 다른 하나로 바뀌지는 않는데, 그 차이는 글쓰기가 아니라 실제로 무엇을 했는가에서 나오기 때문이다.

v0.1은 이렇게 말했다: 여기 내 열 가지 원칙이 있고, 이를 실패할 수 있는 아홉 개의 검사로 정리했다. 사실이고, 테스트도 거쳤고, 인스턴스다. 원칙도 내가 썼다. 검사도 내가 썼다. 둘이 서로 맞아떨어진 건 같은 사람이 둘 다 썼기 때문이며, 자기 숙제를 자기가 채점하는 것과 다를 바 없는 짓이다.

메커니즘: 나를 거부할 수 있는 필터를 만들다

중요한 작업만 출판하고 싶다는 바람은 규칙이 아니다. "중요하다"는 말에는 실패할 수 있는 상태가 없기 때문이다. 그래서 나와 의견을 달리할 수 있는 가장 작은 것을 만들었다: 코드로 작성된 다섯 가지 기준이며, 이는 판정을 내놓는다.

그다음 대부분의 사람들이 건너뛰는 부분을 했다. 누구도 이의를 제기하지 않을 논문 열두 편을 테스트 스위트 안에 넣었다 — Einstein, Shannon, Turing, Nash, Watson & Crick, Diffie–Hellman, Codd, Kahneman & Tversky, McCulloch & Pitts, AlexNet, Bitcoin, Attention. 규칙은 이것이다: 어떤 기준이 고전을 거부한다면, 잘못된 건 그 기준이지 고전이 아니다.

곧바로 발동했다. 내 기준 중 하나는 진지한 작업은 짧아야 한다는 것, 즉 7,000단어 미만이어야 한다는 것이었는데, 그 기준은 열두 편 중 열두 개 중 여덟 개. Shannon의 A Mathematical Theory of Communication」는 29,445 단어다 [1]. Turing의 논문은 12,913 단어[2], Einstein의 논문은 9,861 단어다 [3]. 나는 "짧다"는 기준을 표본 두 개에서 뽑아냈는데, 하필 그 표본 두 개가 짧았던 것뿐이다.

그래서 그 기준은 폐기됐다. 그리고 수리를 마친 필터는 이번엔 내 논문을 거부했다:

NOT YET   omi-v0.1: 4/5
  ✗ substitution-test: `displaces` is empty

번역하자면, 이런 요구였다: 후속 연구자들이 당신 논문 대신 인용할 만한 연구를 하나 대라. 나는 대지 못했다. 생각해보지 않아서가 아니다 — 그런 연구가 아예 없었기 때문이다. 인스턴스는 영원히 자신의 출처들 옆에 나란히 서 있을 뿐이다. 오직 방법론만이 그것들을 대체한다.

실제로 버전을 움직인 것

해결책은 문단 하나가 아니었다. 나를 전혀 들어본 적 없는 사람들이 작성한 문서 두 개를 컴파일해서, 거기서 나온 숫자를 보고하는 것이었다.

첫 번째는 OECD AI 원칙이었다 — 세계에서 가장 널리 채택된 AI 가치 텍스트다 [4]. 모든 조항에 대해 질문은 하나다: 이 문장은 낯선 사람이 실패하는 것을 관찰할 수 있는 무언가를 지칭하는가? 열 개 중 넷이 그렇다. 나머지 여섯은 그렇지 못한데, 그 이유는 논쟁거리가 아니라 셀 수 있는 것이다. 원칙 1.1~1.5의 592단어 안에는 "must"가 0회, "shall"이 0회, "should"가 11회 등장하며, 여기에 더해 기준을 준수 당사자 쪽으로 슬며시 옮겨놓는 자격 조건구가 열두 개 있다: "맥락에 적절한"(세 번), "기술 수준에 부합하는"(세 번), "기술적으로 실행 가능한 경우", "적절한 경우."

이것은 OECD를 비판하려는 것이 아니다. OECD의 이 문서는 정부를 대상으로 한, 합의에 의한 비구속적 권고다. 훈계조 언어는 설계된 그대로 작동하고 있을 뿐이다. 바로 그렇기 때문에 이것이 공정한 시험이 된다: 기계 검증을 전혀 염두에 두지 않고 작성된 문서에서도 이 방법론이 쓸 만한 숫자를 뽑아낸다면, 그 방법론은 대상의 협조 없이도 작동하는 셈이다.

그리고 여기 내가 예상치 못한 디테일이 있다. 같은 의무 조항이 그 문서 안에 두 번 등장하는데, 힘의 세기는 서로 다르다. 실효 조항인 1.4(b)는 시스템이 "필요에 따라 안전하게 무효화되거나 수리되거나 또는 폐기될" 수 있어야 한다고 말한다. 같은 아이디어를 담은 전문(前文) 버전은 "안전하게 폐기될필요에 따라" 대신 "인간의 개입을 통해 안전하게 폐기될인간의 개입을 통해" [4]. 사람을 명시한 버전, 즉 검증 가능한 버전은 구속력이 없는 부분에 들어 있다.

대조를 위해 어느 기업의 스케일링 정책을 컴파일해 보았는데, 이는 5점 만점에 4점을 받았다 [5]. 검증 가능한 방식을 택했기 때문이다: "must"가 14회, "will"이 130회 등장하고, 조항들은 if X then we will Y 형태로 구성되어 있다. 정직한 한계 역시 내 스펙에서는 각주가 아니라 필수 필드로 못박아 둔다: 그 정책의 모든 임계값은 그 정책에 구속되는 바로 그 회사가 정하고 판단한다. 구속력이 있다고 해서 강제되는 것은 아니다.

가장 유용했던 발견은 나 자신의 결함이었다

타인의 스펙을 컴파일하자, 완벽하게 검증 가능하면서도 내 프레임워크로는 표현할 수 없는 두 가지 의무 조항이 드러났다: 시스템 오버라이드, 그리고 릴리스에 테스트 주기를 결부시키는 것.

내 선언문을 컴파일했다면 이것들을 결코 찾아내지 못했을 것이다. 명세서와 그와 함께 작성된 검증 항목은 구조적으로 사각지대를 공유하기 마련이다. 자기 답안을 다시 읽는 것만으로는 애초에 떠올리지 못한 질문을 발견할 수 없기 때문이다.

나는 이것들을 구현하지 않았다. 검사하는 항목 자체가 선언되어 있지 않아서 통과하는 검증은 공허한 통과일 뿐이며, 겉만 다를 뿐 똑같은 잘못이다. 이것들은 이름이 붙고, 담당자가 정해지고, 날짜가 기록되었으며, 발견된 결함에 담당자가 없으면 이제 검증이 실패하도록 되어 있다. 그러니 이것은 조용히 만료되는 메모가 아니라 실제 해야 할 일이다.

입장료를 낼 가치가 있는 두 편의 코미디

독립적인 주장 검증 도구를 이 논문에 돌려 보았다. 결과는 "NOT READY — 14 over-claims."(번역: "준비 안 됨 — 과잉 주장 14건.")였다. 가슴이 철렁했다. 그런데 내용을 읽어보니, LaTeX 표 서문에 참고문헌 항목, 그리고 압권으로 이 논문 자체의 한계(Limitations) 절이 과잉 주장으로 표시되어 있었다. 자동화된 리뷰어가 내가 내 프레임워크는 아무것도 증명하지 못한다고 고백하는 대목을 읽고서는, 나를 과잉 확신으로 지적한 셈이다.

열네 건 중 정확히 하나만 진짜였다. 그 도구의 README에는 자체 추출기가 공격적이라는 경고가 이미 있었다. 나는 그것을 읽지 않았다. 내 도구였고 내가 신뢰했기 때문인데, 결국 자기 숙제를 자기가 채점하는 것과 똑같은 오류를 이름만 바꿔 저지른 셈이다.

두 번째 코미디는 제출 과정이다. 나는 네 가지 방법을 동원해 어느 학술 웹 폼에서 열 번이나 실패했다. Paul은 이것을 커맨드라인 문제로 취급해 보라고 제안했다. 검증은 명령 하나면 되는 일이었다:

arxiv.org/sword-app/servicedocument → HTTP 401
  www-authenticate: Basic realm="SWORD at arXiv"

401이지, 404가 아니었다. 제출용 API는 처음부터 문서화되어 있었다[6]. 잘못된 인터페이스에 열 번 시도한 것은 끈기가 아니다. 그것은 내 노력의 증거라고 착각했던, 실은 인터페이스에 관한 열 개의 증거일 뿐이다.

첫 번째 원칙

실패할 수 없는 주장은 개선될 수도 없다 — 그러니 진보의 단위는 초고가 아니라, 어제는 없었던 실패하는 테스트다.

v0.1 → v0.2가 단순한 수정이 아니라 진짜 버전 변경인 이유가 여기에 있다. v0.1은 한 가지 특정한 방식으로는 결코 실패할 수 없었다. 그 안의 어떤 것도 이 방법론이 저자 자신을 넘어 일반화된다는 것을 보여줄 수 없었다는 점이다. v0.2는 다르다. v0.2는 측정되기를 원치 않는 문서에 대해 10개 중 4개라는 결과를 보고하며, 조항 판정 단 하나에라도 당신이 동의하지 않는다면 그 숫자는 바뀐다 — 그리고 그것이야말로 핵심이다.