2D映像から3D世界を読み解く：VLM-IE3Dが切り拓く空間認識の新たな地平

「地図は土地そのものではない」という言葉があります。

一般意味論の祖アルフレッド・コージブスキーが残したこの警句は、モデルと現実のあいだに常に乖離があることを示しています。

さて、カメラが捉える2次元の映像も、私たちが生きる3次元空間をある意味で「地図化」したもの。

AIが映像から立体世界を正しく理解するには、失われた奥行き情報をどうにかして補わなくてはなりません。

今回紹介するVLM-IE3Dは、まさにその課題に挑んだ最新の研究成果です。

2D映像だけでは足りないもの

近年、画像とテキストを結びつけるビジョン・ランゲージモデル（VLM）が急速に発展しています。

たとえば写真を見せて「赤いボールはどこ？」

と尋ねると、それが画面内のどこにあるか指し示す、そんな芸当が可能になってきました。

ところが、こうしたモデルの多くは平面的な画像認識に頼っているため、奥行きのある空間把握が必要なタスクでは思ったように動きません。

机の上のカップを「ちょっと左のほう」と相対的に表現したり、動画のなかで人物が実際にどんな経路をたどったかを推論したりするのは、従来のVLMには難しかったのです。

VLM-IE3Dのユニークな点は、RGBの動画（ごく普通のカラー映像）だけを頼りに、3次元の手がかりを二つの異なる形で抽出してくるところにあります。

ひとつは「Implicit Geometry Tokens（IGTs）」、いわば暗黙の幾何学トークンです。

これは映像全体から「たぶんこんな空間構造だろう」という大まかな見当をつける役目を担います。

たとえば壁や床の配置、典型的な部屋のレイアウトといった高レベルの事前知識を動画の流れから学び取ってくるイメージです。

もうひとつが「Explicit Geometry Tokens（EGTs）」、明示的な幾何学トークン。

こちらは映像からより直接的に3Dの形を再構成し、細かな立体情報を符号化します。

対象物の正確な大きさや、隣同士の位置関係などにくわしいのが特徴です。

これら二種の幾何学トークンは、それぞれ別々の経路で得られますが、そのままではバラバラに存在しているだけです。

そこでVLM-IE3Dは「3D-aware adapter」という仕掛けを使って、IGTs・EGTsともとの2D映像がもつ色彩やテクスチャの情報をうまく融合させます。

アダプタは一種の翻訳機のようなもので、幾何学の言葉をVLMが理解できる視覚特徴の言葉に置き換え、違和感なく混ぜ合わせるわけです。

面白いのは、このすべてがRGBカメラだけで完結する設計になっている点です。

深度センサーやレーザースキャナを追加する必要はなく、ネット上に溢れる動画データをそのまま学習に使えます。

そのぶん実用のハードルが下がり、多くの応用へつなげやすくなっています。

実際、VLM-IE3Dは3Dにまつわる多様なタスクで高い性能を示しました。

たとえば「3Dビデオ検出」では、映像内の物体がどのあたりの三次元位置にあるのかを特定します。

「3D視覚グラウンディング」は、言葉で指定された対象を立体空間のなかで正確に指し示す能力。

「3D密キャプション生成」では、シーンに存在するたくさんの物体それぞれについて、位置や関係性を含む詳しい説明文を自動でつくります。

さらに「空間推論」では、「右に曲がって机の上を見ると、左端にマグカップが置いてあるはず」といった一連の流れを映像から読み解くことにも成功しています。

これらの機能が実用的なレベルで動くようになれば、ロボットが人間の指示で部屋の片付けを手伝ったり、ARゴーグルが実世界にぴったり重なる情報を提示したりと、応用の幅はぐっと広がるでしょう。

映像だけで3Dを捉える。

このアイデアは、単にAIの内部表現を豊かにする以上に、機械が世界をどう理解するかという根本的な問いにもつながるものだと感じます。

暗黙知と明示知という二層の幾何学を組み合わせる発想には、人間が無意識に空間を把握している仕組みすら連想させられました。

研究はまだ始まったばかりで、今回のモデルは動画を必要としますが、今後、静止画のみへの拡張や、実時間での動作が実現すれば、さらに面白い展開が待っていそうです。

さて、こうして眺めてみると、AIは地図を見るだけでなく、地図から土地の起伏まで想像するフェーズに入ったのかもしれません。

技術の進み方というのは、いつも私たちの想像の少し先を歩いているものですね。