AI-Native 시리즈 · Physical AI

기계는 마침내 볼 수 있게 됐다, 동영상을. 어려운 부분은 기계에게 움직임.

한 프레임을 묘사하는 Vision-Language Model과 한 번의 회전을 이해하는 모델은 같지 않다. '본다'와 '이해한다'를 가르는 세 가지가 있다 — 그중 어느 것도 '더 큰 모델'이 아니다.

요즘 나온 Vision-Language Model에 사진 한 장을 보여주면, 왼쪽 차선에 은색 세단이 있다고 알려줄 것이다. 인상적이다. 이번엔 그 세단이 차선을 넘나드는 서른 개의 프레임을 보여주자. 그 와중에 오른쪽에서는 자전거 탄 사람이 등장한다. 그러고 나서 물어보자: 방금 무슨 일이 일어났고, 그것이 위험한 상황이었는가?

한 장면 속에 무엇이 있는지 이름 붙이는 것과, 시간에 걸쳐 무슨 일이 벌어지고 있는지 추론하는 것 — 이 간극에 동영상 AI의 실질적 가치 대부분이 담겨 있고, 대부분의 시스템이 조용히 무너지는 지점도 바로 여기다. 프레임에 캡션을 다는 모델은 카메라를 든 관광객이다. 움직임을 이해하는 모델은 증언할 수 있는 목격자다.

열다섯 살짜리도 이해할 수 있는 사고 모델은 이렇다: 동영상을 보는 VLM은 이제 막 운전을 배우기 시작한 초보 운전자다. 매뉴얼은 이미 통째로 읽었다(자동차, 차선, 자전거 탑승자가 뭔지는 "안다"). 하지만 매뉴얼을 아는 것과 실제 도로를 읽는 것은 다른 이야기다. 세 가지 요소가 학생을 운전자로 만든다 — 그리고 이 세 가지는 실제 엔지니어링과 정확히 하나씩 대응된다.

1. 시간 접착제(Time-glue): 30장의 스냅숏은 하나의 장면이 아니다

단순하게 보면 모델은 동영상을 서로 관련 없는 엽서들의 묶음으로 본다. 움직임을 이해한다는 것은 엽서들을 서로 이어 붙이는 것 — 즉 이 3번 프레임의 자동차가 28번 프레임의 자동차와 같은 차라는 것을, 그리고 그 위치가 이름을 붙일 수 있는 방식으로 변하고 있다는 것을(차선 변경, 합류, 혹은 이상 상황) 추적하는 것을 뜻한다.

실제 기계 장치 안에서 이것은 시공간적(spatiotemporal) 추론이다. 모델은 객체를 위치시켜야 하고 동시에 그것들을 시간에 걸쳐 하나로 묶어야 한다. 그래서 정지 이미지가 아니라 센서 컨텍스트가 담긴 클립으로 오픈 VLM을 파인튜닝하는 것이고, 흥미로운 벤치마크들도 캡션 품질이 아니라 시간적 그라운딩(temporal grounding)을 측정하는 것이다. 시간 접착제를 건너뛰면 모든 프레임에 대해서는 유창하게 말하면서 사건 자체는 전혀 이해하지 못하는 모델이 나온다.

2. 엄격한 시험관: 모델은 자신 있게 거짓말을 한다

동영상을 다루는 모든 생성형 모델의 더러운 비밀은 이것이다: 실제로 일어나지 않은 차선 변경을, 완벽한 문장으로, 90% 확신을 갖고 설명해낼 수 있다는 것. "문장이 그럴듯하게 들리는가"가 유일한 테스트라면, 당신은 자신감 넘치는 허풍쟁이를 그대로 출시하게 된다.

그래서 '본다'와 '이해한다'를 가르는 두 번째 요소는 바로 현실을 기준으로 답을 채점하는 검증관, 유창함을 기준으로 채점하지 않는다. 모델이 사건을 정확한 위치와 정확한 시각에 짚어냈는가(공간+시간 정확도)? 클립 전체에서 이야기가 일관되게 유지되는가, 아니면 세단이 순간이동을 하는가? 에이전트형 평가 하니스가 이런 축들을 채점하고 — 여기가 다들 빼먹는 부분인데 — 증거로 뒷받침할 수 없는 주장은 통과시키지 않는다. 프레임 어디에도 사건의 흔적이 없다면? 그건 발견이 아니다. 문법만 좋은 환각이다.

이 규칙이 당신을 구해준다: 증거 없이는 주장도 없다. 재현할 수 없는 벤치마크는 점수가 아니라 그저 인상에 불과하다. 증거를 기준으로 게이트를 걸고, 실패하면 프로세스가 실패 코드를 반환하며 종료되게 하라. 그러면 자신만만한 오답은 더 이상 출시할 수 없게 된다.

이 중 새로운 것은 하나도 없다. 왕립학회는 1662년에 이런 모토를 내걸었다: Nullius in verba (번역: 누구의 말도 곧이곧대로 믿지 말라) — 증거로 검증하라는 뜻이다. 완벽한 문장으로 영상을 서술하는 모델이야말로, 근대 과학이 애초에 불신하도록 설계된 그 매끄러운 권위 그 자체다. 검증관은 그저 364년 된 이 규칙을, 말할 줄 아는 기계에게 들이댄 것일 뿐이다.

3. 부정행위를 할 수 없는 연습문제 공장

학생 운전자에게는 수천 시간의 연습이 필요한데, "차가 차선을 변경한다" 같은 클립 백만 개를 사람이 일일이 라벨링하고 싶어 하지는 않는다. 그래서 최전선의 한 수는 모델이 스스로 학습 데이터를 만드는 데 관여하게 하는 것이다: 현재 모델로 원본 영상에 라벨 후보를 제안시키고, 독립적인 여러 패스가 일치하는 클립만 남긴 뒤, 그 정제된 세트를 다음 라운드에 다시 먹인다. "AI가 AI를 훈련시키는" 셈이다.

이것은 플라이휠이지만, 동시에 지금 가장 위험한 발상이기도 하다 — 자기 숙제를 스스로 채점하는 모델은 기꺼이 A를 지어내기 때문이다. 해법은 더 큰 모델이 아니라 하나의 규율이다: 만드는 자 ≠ 검사하는 자. 라벨을 생성하는 주체는 결코 그것을 인증하는 주체가 될 수 없고, 일치도가 낮은 샘플은 승격되는 대신 폐기되며, 자동 생성된 데이터가 훈련에 들어가기 전에 사람이 반드시 샘플을 검토한다. 게이트가 있는 큐레이션은 복리로 쌓인다. 게이트 없는 큐레이션은 모델 자신의 실수를 "그라운드 트루스"로 세탁해, 시스템 전체를 조용히 썩게 만든다.

핵심은 이것이다: 승부처는 모델이 아니라 루프다

지난 30년간 영상의 어려운 부분은 표현(representation)이었다: 손으로 짠 옵티컬 플로우에서 학습된 특징으로, 투-스트림 네트워크로, 트랜스포머로, 그리고 오늘날의 VLM으로 이어져 왔다. 그 부분은 이제 임대품이나 다름없다 — 모두가 대체로 같은 멀티모달 두뇌를 돌리고 있다. 끝까지 수작업으로 남은 것 — 평가와 데이터 큐레이션 — 이 바로 새로운 개척지다. 그리고 이건 더 큰 모델로 이기는 싸움이 아니다. 더 촘촘한 closed loop:

fine-tune the VLM on real motion
      → grade it with a strict, evidence-gated examiner
      → curate new data where independent passes agree (human-gated)
      → fine-tune again
   ( each turn adds a capability; the bar ratchets up )

부품은 세 개, 루프는 하나다: 모델이 움직임을 지각하게 하는 타임 글루, 허풍을 못 치게 막는 검사관, 사람이 프레임마다 라벨을 붙이지 않아도 스스로 개선되게 하는 큐레이션 플라이휠. 이 셋을 함께 조립하면 시스템은 이전엔 쓸 수 없었던 영상으로부터 매주 나아진다. 셋 중 하나라도 빠지면 남는 건 말만 아주 잘하는 카메라일 뿐이다.

이는 주행 영상이든, 단백질 접힘이든, 노화 생물학이든 AI-네이티브 작업 전반에서 계속 반복되는 교훈이다: 도구를 한 번 만들어 놓고 그대로 얼려두는 일을 멈춰라. 스스로 정직하게 채점하고 복리로 나아지는 루프를 설계하라. 모델은 가장 값싼 부분이다. 루프가 곧 진입장벽(moat)이다.

은유를 넘어서는 지점

나는 이 루프를 그냥 믿는 게 아니라 실제로 만들어 배포한다. 다이어그램의 모든 부분은 직접 돌려보기 전에 코드로 읽어볼 수 있는, 열려 있고 실행 가능한 스킬이다. 검사관과 같은 원칙이다: 내 말을 믿지 말고 코드를 읽어라.

이 도구들은 하나의 공개 허브인 FM-os에 모여 있다. 그 곁에는 이 자격을 얻기 위해 내가 직접 구축한 지식 베이스가 있다: 논문 약 70편, 모델·랩 지형도, 그리고 엄선된 읽기 목록까지, 모두 데이터로 관리되며 wjlgatech.github.io/FM-os에서 실시간으로 색인된다. 그리고 이 루프는 사고 실험이 아니다 — 나는 전혀 다른 도메인에서 이 루프를 처음부터 끝까지 돌려본 적이 있다. longevity-loop에서는 전후 비교 결과 없이는 어떤 작업도 '완료'로 표시할 수 없다. 규율은 같고, 찍는 대상만 다를 뿐이다.

이걸 어떻게 검증했나 (세 개의 망원경)

그럴듯한 이야기는 값싸다. 그래서 나는 이 주장이 하나의 사례에 그치지 않도록, 세 개의 시간 지평에서 확인해봤다:

• 최근 30일. 업계는 지금 정확히 이런 심판을 만들기 위해 경쟁하고 있다: STSBench는 3D 지각을 기준으로 시공간 추론을 채점하고, STRIDE-QA는 27만 프레임에 걸친 1,600만 개의 주행 질의응답 쌍을 제공하며, 2026년의 한 논문은 주행용 VLM이 자전거 탑승자에게까지 일반화되는지 를 정면으로 묻는다 — 서두에서 다뤘던 바로 그 엣지 케이스다. 다들 보고하는 병목은 똑같다: 모델이 아니라 평가.
• 최근 30년. 표현(representation) 문제는 공개적으로 풀렸다 — 옵티컬 플로우에서 CNN, 트랜스포머, VLM으로. 하지만 평가와 데이터 큐레이션은 그렇지 못했다; 여전히 손으로 만드는 영역으로 남아 있다. 그 간극이 곧 모든 기회다.
• 최근 300년. Nullius in verba, 1662년. 근대 과학에서 가장 오래된 규칙은 '증거 없이는 주장도 없다'는 것이다. 우리는 영상 AI를 위해 엄밀함을 새로 발명하는 게 아니다 — 말로 사람을 속여 넘기는 기계에 마침내 그 엄밀함을 적용하고 있을 뿐이다.

계속 읽기

• The Architecture of Autonomy — 똑똑한 두뇌라고 해서 믿을 만한 일꾼이 되는 것은 아니다; 루프를 연결하라 (목표 → 관찰 → 행동 → 평가 → 학습).
• You Can't Order People to Close Loops — 게임을 설계하라; maker ≠ checker를 조직 설계에 적용한 이야기.
• You Can't Self-Issue Reputation — 주장됨 → 관찰됨 → 증명됨; 스스로 초록불을 켠 실행에도 왜 독립적인 승인이 필요한가.

AI-Native 시리즈의 일부다. 스킬, 지식 베이스, 그리고 실제로 작동하는 루프는 모두 github.com/wjlgatech/FM-os에 공개돼 있다 — 내 말을 믿지 말고 코드를 직접 읽어보라.