ELSA3Dが結ぶ、3Dの見ると作る、しなやかな仕組み

「シンプルであることは、究極の洗練である。」

、レオナルド・ダ・ヴィンチ

こんな言葉を思い出したのは、最新のAI研究『ELSA3D』に触れたからです。

このモデルは、3Dデータを「見る」ことと「作り出す」ことを、驚くほどすっきりした仕組みで一つの枠組みにまとめました。

しかも、ただ混ぜるだけじゃなく、テキストと立体の情報を、ちょうどいい「粗さ」で結びつけるんです。

なぜ「統一」が難しかったのか

これまで、テキストから3Dモデルを生成するAIと、3Dモデルを言葉で説明するAIは、たいてい別々に開発されてきました。

一緒にしようとすると、テキストと3Dデータの粒ぞろいが悪く、うまく噛み合わなかったんです。

文章の意味は大ざっぱに捉えたいのに、3Dの細かい形状は細部まで見ないといけない。

その両方を同じ土俵で扱うと、どっちつかずになってしまう。

たとえば「木」という単語は、全体の輪郭を思い浮かべますが、一枚一枚の葉の形までは要求しません。

しかし従来のやり方では、その区別がつけられず、全部を一律に処理していました。

ELSA3Dの工夫は、オクトリーという「解像度を段階的に変えられる3D表現」と、アンカートークンと呼ばれる特別な窓口を使うこと。

オクトリーとは、3D空間を大きな立方体で捉え、細かい部分が必要なときだけ、その立方体を八分割して解像度を上げるデータ構造です。

これにより、大まかな形から微細な凹凸まで、一枚の地図のように扱えます。

その地図の上で、テキストの単語と3Dの各部位を適切なスケールで結びつける役目を担うのが、アンカートークンです。

たとえば「テーブル」という言葉なら、脚や天板といった細部ではなく、まずは「テーブル全体」という大きなまとまりにアンカーを下ろします。

逆に「脚の曲線」という表現が出てきたら、より細かいスケールの情報を取りに行く。

この取捨選択を、ルーターという軽量な仕組みが自動で行うため、無駄な計算が省かれ、必要なところにだけ注意が向くのです。

この弾力的な仕組みにより、ELSA3Dは画像から3Dを起こす、文章から3Dを起こす、3Dにキャプションを付ける、という三つのタスクで最高性能を達成しました。

しかも、同じモデルから「弾力性」を取り除いたバージョンと比べて、計算量も推論にかかる時間も約半分になったと報告されています。

速くて正確、まさにダ・ヴィンチの言う「洗練」に近づいたと言えるでしょう。

こうした技術が広がれば、私たちが頭の中に思い描いた立体を、言葉でやり取りするかのように扱える日が来るのかもしれません。

3Dの世界が、もっと自由になる。

そんな未来を感じさせる研究です。