AI-Nativeシリーズ · Physical AI
機械はついに見ることができるようになった。難しいのは、それに理解させることだ——動き.
1分でわかる要点——この記事で得られるもの
機械はついに動画を見られるようになった。難しいのは、それに「動きを理解させる」ことだ——そして優位性を分けるのは巨大なモデルではなく、閉じたループである：モデル→誠実な評価→精選されたデータ→より良いモデル。15歳でも扱えるメンタルモデルを、実際の仕組みに対応させて示す。AI-Nativeシリーズの一篇。
1フレームを説明できるVision-Language Modelと、1回のターンを理解できるモデルは同じではない。「見える」と「わかる」を分けるものは3つある——そのどれも、モデルを大きくすることではない。
最新のVision-Language Modelに写真を見せれば、左車線に銀色のセダンがあると教えてくれる。たしかに大したものだ。では、そのセダンが車線をまたいで漂う30フレームを見せ、同時に自転車が右から入ってくる様子を見せて、こう尋ねてみよう：何が起きたのか、それは危険だったのか？
写真に写っているものに名前をつけることと、時間を通じて起きていることについて推論することの間にあるこの隔たりに、動画AIの価値の大部分が実際には存在し、大半のシステムがそこで静かに崩れ落ちる。フレームにキャプションをつけるモデルは、カメラを持った観光客にすぎない。動きを理解するモデルは、証言できる目撃者だ。
ここに、15歳でも扱えるメンタルモデルがある：動画を見るVLMは、免許を取り立ての新人ドライバーだ。教則本は丸ごと読んでいる（「知って」いる——車とは何か、車線とは何か、自転車とは何かを）。だが教則本を知っていることと、道路を読むことは別物だ。生徒をドライバーに変えるものが3つあり、それらは実際のエンジニアリングと一対一で対応している。
1. タイムグルー（time-glue）：30枚のスナップショットはシーンではない
素朴に扱えば、モデルは動画を無関係な絵葉書の束として見てしまう。動きを理解するとは、絵葉書同士を貼り合わせることだ——つまり、この車が3フレーム目と28フレーム目で同一の車であること、そしてその位置が名前のつく形で変化していること（車線変更、合流、異常事態）を追跡することだ。
仕組みの中では、これは時空間推論と呼ばれる：モデルは物体を局所化し、かつそれらを時間軸に沿って結びつけなければならない。だからこそ、開放型VLMを静止画ではなくセンサーコンテキスト付きのクリップでファインチューニングするのだし、面白いベンチマークはキャプションの質ではなく時間的グラウンディングを測るのだ。タイムグルーを飛ばせば、どのフレームについても流暢に語りながら、出来事そのものは理解していないモデルができあがる。
| 生徒が「見ている」もの | ドライバーが「理解している」もの |
|---|---|
| 「車。車線。自転車。」 | 「車が車線をまたいで自転車に接近——0:04にニアミス。」 |
| フレームごとのキャプション | 始点と終点を持ち、時間軸に沿って結びついた局所化されたイベント |
| すべてのフレームで自信満々 | キャリブレーション済み：視界が遮られているときは「わからない」と言う |
2. 厳格な試験官：モデルは自信満々に嘘をつく
動画を扱う生成モデルすべてに共通する不都合な真実がある——存在しない車線変更を、完璧な文章で、90%の確信度をもって描写してしまうのだ。テストが「文章としてもっともらしいかどうか」だけなら、あなたは自信満々の嘘つきを世に出すことになる。
だから、「見る」と「理解する」を分ける2つ目の要素は、現実に照らして答えを採点する厳格な試験官――流暢さではなく。モデルはイベントを正しい場所・正しい秒数に位置づけられたか（空間精度＋時間精度）？ そのストーリーはクリップ全体を通じて一貫しているか、それともセダンが瞬間移動していないか？ エージェント型評価ハーネスはそれらの軸を採点し――ここが皆が省いてしまう部分だが――証拠で裏付けられない主張は通さない。フレームの中にイベントの痕跡が一切ないなら、それは発見ではない。文法だけは整ったハルシネーションだ。
この一線が全てを決める。証拠なくして主張なし。再現できないベンチマークはスコアではなく、単なる「雰囲気」にすぎない。証拠にゲートをかけ、失敗したら非ゼロで終了する――そうすれば自信満々の誤答は出荷できなくなる。
どれも新しい話ではない。Royal Societyは1662年にこのモットーを掲げた：Nullius in verba（訳：「誰の言葉も鵜呑みにするな」）――証拠によって検証せよ、という意味だ。流麗な文章で映像を語るモデルは、まさに近代科学が長らく警戒してきた「滑らかな権威」そのものだ。試験官とは、しゃべる機械に向けられた、あの364年前のルールにほかならない。
3. カンニングできない練習問題工場
新米ドライバーには何千時間もの練習が必要だが、「車が車線変更する」映像を100万クリップも人手でラベル付けしたい人間などいない。そこでフロンティアの一手は、モデル自身に自分の訓練データ作りを手伝わせることだ。現行モデルを使って生の映像にラベル案を提案させ、独立した複数パスが一致したクリップだけを残し、そのクリーンなセットを次のラウンドへ戻す。「AIがAIを訓練する」というわけだ。
これは弾み車（フライホイール）のように回り続ける仕組みであると同時に、この場で最も危険な発想でもある――なぜなら、自分の宿題を自分で採点するモデルは、喜んでAをでっち上げるからだ。その対策はより大きなモデルではなく、規律である：作る者と検証する者は別でなければならない（maker ≠ checker）。ラベルを生成するものが、それを認定するものであってはならない。一致率の低いサンプルは昇格させずに捨てる。そして、自動生成データが訓練に入る前に、必ず人間がサンプルをレビューする。ゲート付きのキュレーションは複利で効いてくる。ゲートのないキュレーションは、モデル自身の間違いを「正解データ」として洗浄し、システム全体を静かに腐らせる。
結論：勝負を分けるのはモデルではなくループだ
30年間、映像における難所は表現（representation）だった――手作りのオプティカルフローから、学習済み特徴量、ツーストリームネット、トランスフォーマー、そして今日のVLMへと進化してきた。その部分はもはやレンタル可能なものになった――誰もがほぼ同じマルチモーダル頭脳を動かしている。頑固に手作業のまま残ったもの――評価とデータキュレーション――こそが新たなフロンティアだ。そしてそれは、より大きなモデルでは勝てない。より締まったクローズドループ:
fine-tune the VLM on real motion
→ grade it with a strict, evidence-gated examiner
→ curate new data where independent passes agree (human-gated)
→ fine-tune again
( each turn adds a capability; the bar ratchets up )
三つの要素で一つのループになる。時間接着（タイムグルー）でモデルは動きを知覚し、厳格な試験官がいるからハッタリが効かず、キュレーションのフライホイールが人間に一コマずつラベル付けさせることなくモデルを改善していく。この三つを組み合わせれば、これまで使い物にならなかった映像からシステムが毎週良くなっていく。どれか一つでも欠ければ、口だけは達者なカメラができあがるだけだ。
これは、対象が運転映像であれタンパク質フォールディングであれ老化生物学であれ、AI-Native の仕事に共通する教訓だ。ツールを一度作って凍結するのはやめる。自分自身を正直に採点し、複利で積み上がっていくループを設計する。 モデルはいちばん安い部分であり、ループこそが堀（モート）である。
比喩ではなくなる場所
私はこのループを信じているだけではない。実際に出荷している。この図の各パーツは、実行する前に読める、オープンで実行可能なスキルだ。厳格な試験官と同じ家訓：コードを読め、私の言葉を鵜呑みにするな。
| ループの構成要素 | オープンスキル | それが行うこと |
|---|---|---|
| 動きに対するファインチューニング | vlm-quickstart | オープンな VLM をゼロから 動画 上で動かすところまで持っていく：動画とセンサーのメタデータを準備し、動き理解のために LoRA/QLoRA でファインチューニングし、時空間推論とローカライゼーションを評価し、サーブする。 |
| 厳格な試験官 | agentic-eval | 時空間推論、ローカライゼーション、物語としての一貫性を、LLM-as-judge のハーネスと回帰ゲートで採点する。評価を一回きりのスクリプトではなく、再現可能でゲート付きのパイプラインとして扱う。 |
| ズルのできない工場 | curation-loop | 「AIがAIを訓練する」：自分のモデルを使って動画データセットにラベルを付け・磨き上げ、品質と安全性のゲートでフィルタリングし、それをファインチューニングへ戻す。作る者と検証する者は別（maker ≠ checker）という原則を組み込んだ、フライホイールだ。 |
| 答えを根拠づける | vector-rag | 動画に対する検索：CLIP/SigLIP エンコーダでクリップを埋め込み、ベクトルDB（FAISS/Milvus/Qdrant）にインデックスし、関連する場面を取り出し、VLM の答えを実際に検索された内容に根拠づける。 |
これらはひとつの公開ハブに置いてある — FM-os — その隣には、それらを裏付けるために私が構築した知識ベースがある：約70本の論文、モデル＋ラボの動向マップ、そして厳選した推薦文献リストだ。すべてデータとして保持し、ライブインデックスを wjlgatech.github.io/FM-os で公開している。このループは思考実験ではない——私は別の分野でエンドツーエンドに実際に動かしている。それが longevity-loop だ。ここでは、ビフォー→アフターの結果が出ない限りタスクを「完了」とはみなせない。規律は同じで、対象となる映像が違うだけだ。
検証はどうやったか（三つの望遠鏡）
良い話は安く作れる。だから私はこの主張を三つの時間軸で検証し、単発の思いつきで終わらせないようにした。
- 直近30日。 この分野は、まさにこの審判役を作ろうと競い合っている。STSBench は時空間推論を3D知覚に対して採点し、STRIDE-QA は27万フレームにわたる1600万件の運転QAペアを提供する。そして2026年の論文はまさに、運転VLMがサイクリストに一般化できるか を問うている——冒頭で取り上げたまさにそのエッジケースだ。誰もが報告するボトルネックは同じで、モデルではなく評価.
- 直近30年。 表現学習は公然と解決されてきた——オプティカルフローからCNN、トランスフォーマー、そしてVLMへ。だが評価とキュレーションはそうならず、いまも手作業のままだ。そのギャップこそが、まるごとチャンスなのだ。
- 直近300年。 Nullius in verba（1662年）。近代科学における最古のルールは「証拠なくして主張なし」だ。私たちは映像AIのために新しく厳密さを発明しているわけではない——ようやく、それを、言葉で人を丸め込む機械に適用しているだけだ。
続けて読む
AI-Nativeシリーズの一部。スキル群、ナレッジベース、実働ループはすべてgithub.com/wjlgatech/FM-os で公開している——私の言葉を鵜呑みにせず、コードを読んでほしい。