合成データで人型ロボットが動き出す、VLKが示す新しい教示の形

統計学者のジョージ・ボックスは「すべてのモデルは間違っているが、中には役に立つものがある」と言いました。

現実を完璧に写し取ることはできなくとも、うまく作り込まれた疑似体験が、本物の学習を支えることがあります。

今回は、そんな考え方を人型ロボットの動作習得に応用した最新の研究「VLK」についてお話しします。

VLKは、人間のような二足歩行ロボットが、まわりの景色を見ながら歩き回ったり、物を運んだりする一連の動きを覚えるための枠組みです。

ロボットに「これを見て、こう動いて」と教えるには、一人称視点の映像、言葉の指示、そして全身の動作データが揃った教材が必要ですが、現実世界でそんな大量のセットを集めるのは極めて困難です。

そこで、この研究では、教材をまるごと合成してしまう道を選びました。

現実そっくりの教室をコンピュータの中に

教材づくりの舞台は、部屋を3Dスキャンして再現した仮想空間です。

VLKでは、まず3D Gaussian Splattingという技術で、実物の室内を色や形まで精密に再構築します。

この手法は、点群のかたまりを使って空間を表現するもので、光の反射や質感までリアルに描けるのが特徴です。

次に、その仮想空間の中で、ロボットが物を取って運んだり、障害物を避けて歩いたりする模範的な軌道を、シーンの完全な情報をもとに自動生成します。

ここでいう完全な情報とは、壁や家具の正確な位置など、隠れた部分まで計算上は見えている状態のことです。

それをもとに、後から一人称視点の映像がレンダリングされます。

つまり、「こう動けばいい」という模範演技を、あたかもロボットの目で見たかのような映像とともに大量に作り出せるのです。

こうして、画像・言語指示・運動データの三点セットが、人手を介さずに4万8000組も用意されました。

この教材で訓練されるのが、VLKポリシーと呼ばれる神経回路網です。

ポリシーは、カメラで捉えた周囲の映像と「テーブルの上の箱を運んで」といった言葉の指示を受け取り、次の瞬間に全身の各関節がどう動くべきかの短い軌道を予測します。

予測された軌道は、全身追跡器という別の制御モジュールによって、実機の関節へ具体的な指令に変換されます。

研究チームはこの仕組みを、中国Unitree社の人型ロボットG1に実装し、室内での歩行や一つの物体を運ぶタスクを実証しました。

合成データだけで訓練したポリシーが、現実の物理世界でも破綻せず、ロボットに動きを伝えられたのです。

ここで重要なのは、合成時に使った仮想空間が、現実の部屋と大きく形が違わないこと、そしていわゆるSim-to-Realギャップを乗り越える工夫がなされている点です。

たとえば、レンダリング時に照明やテクスチャのバリエーションを加えて、実画像に近づける配慮などが含まれています。

VLKの面白いところは、ロボットにものを教える手間を、3Dシーンの再構築と模範軌道の自動生成に置き換えた点です。

現実で一つひとつ動作を教える代わりに、仮想空間でふんだんに練習台を作ってしまおう、という発想がうまく機能した例といえます。

もちろん、いま扱えるタスクはまだ単純で、部屋の構造が大きく変わったり、複数の物体を順に操作したりする場面では追加の工夫が要るでしょう。

それでも、合成データによって人の介入を減らしながらロボットの行動範囲を広げる道筋を示したことは、今後の二足歩行ロボットの研究に大きなヒントを与えてくれそうです。

シミュレーションで学んだ動きが、やがて私たちの暮らしの中に自然と溶け込んでいく、そんな風景を想像しながら、これからの展開に注目していきたいと思います。