固定カメラから自由な視点へ:キャリブレーションフリーなロボット操作モデル「CamVLA」

カメラは、それを使わなくても見ることを教えてくれる道具だ、写真家ドロシア・ラングの言葉です。

人の目やレンズが捉える世界は、つねに特定の場所からの眺め。

ロボットが何か作業を覚えるときも、たいてい決まったカメラ位置が前提でした。

しかし実世界では、カメラは動いたり付け替えられたりするものです。

そんなときロボットが戸惑わないために、最新の研究が「視点を自分で推測する」方法を提案しています。

ロボットに「いま、どこから見ている?」を悟らせる

従来の視覚言語行動モデル(VLA)は、カメラの取り付け位置や角度といった「外部パラメータ」が正確に与えられることを前提にしていました。

でも、工場や家庭でカメラがちょっとずれてしまうと、途端に作業の成功率が下がります。

そこで登場したのがCamVLA(Camera-Centric VLA)。

このモデルは、カメラ位置を教えられるのではなく、画像と言語指示だけでロボット自身がカメラの姿勢を推測しながら動く、という発想に立っています。

具体的には、ふたつの予測を同時に行います。

ひとつは「カメラから見た手先の動かし方」、もうひとつは「カメラがロボット本体に対してどの位置にあるか」という関係性(手眼行列)です。

そして、このふたつを幾何学的に組み合わせることで、ロボットのベース座標でのアクションに変換します。

つまり、動きの内容(how)と、視点(where)をきれいに切り離しているんですね。

これにより、カメラの設置場所が変わっても、自ら適応できるロボットが実現します。

深度センサーも複数カメラも不要で、たった1枚のカラー画像だけで仕事をこなすのです。

研究チームの実験では、様々な未知の視点からの作業成功率が一貫して向上したと報告されています。

視点の変化に自ら気づき、柔軟に行動を変える、それはまるで、初めて訪れた部屋でも戸惑わずに振る舞える人のよう。

技術がこんなふうに「当たり前」を乗り越えていくのを見ると、ロボットと暮らす未来が少しだけ近づいた気がします。

記事一覧