映像が教える手術ロボット：Surgical WAMの試み

手術支援ロボットの研究で広く使われるdVRKは、臨床用のダヴィンチを研究用に開放したキットで、大学や研究機関で動作データの収集に使われています。

その記録にはロボットの関節角度や手先位置といった『行動ラベル』が付いており、術者の手技を数値として追うことができます。

ただ、この種のデータを集めるには人手と時間がかかります。

一方、内視鏡の映像は比較的豊富に残ります。

今回は、この非対称を手がかりに、少ない行動データで手術ロボットを学習させる研究を取り上げます。

手術ロボット学習の壁

手術支援ロボットに一連の作業を学習させるには、通常、熟練した術者による遠隔操作の記録が必要です。

しかし、正確な接触操作、長い手順を見通す判断、両手の協調といった要素が絡むため、少しのデータでは十分に学べません。

映像と同期した関節角度や手先の動きの記録は、特に集めるのが難しいとされています。

これまでにも、内視鏡映像から術野の変化を予測する『世界モデル』の研究はありましたが、多くは映像の生成や評価に使われ、ロボットの動作指令に直接結びつける試みはまだ限られていました。

今回の研究が提案するSurgical WAMは、世界モデルと行動モデルをひとつの生成モデルにまとめたものです。

はじめに、行動ラベルのない内視鏡映像だけから、術野が時間とともにどう変化するかという視覚的なダイナミクスを学びます。

これは、映像に映る組織の動きや器具の位置関係などを、次にどうなるかを予測する形で捉える作業と言えます。

次に、あらかじめ決められた少量の行動ラベル付きデータで追加学習を行い、映像の変化に合わせてロボットが取るべき動作のまとまりを予測できるようにします。

動作のまとまりとは、例えば『この先数秒ぶんの関節の動き』を塊として出力するものです。

実行時には、予測した動作の最初の一部だけを実際にロボットに送り、その結果の映像を観察してから、また次の動作を予測するという閉ループ制御を繰り返します。

この仕組みは、映像から『次に何が起きるか』と『次にどう動くか』を同時に考えるのに近いと言えるでしょう。

映像からの事前学習が有効なのは、手術のような接触の多い作業では、視覚的な手がかり（器具と組織の位置関係や変形のしかた）が次の動作を決める上で大きな役割を果たすからです。

行動ラベルが少ない場合でも、映像の中で『こういう場面ではこう動くことが多い』という統計的な知識を先に蓄えておけば、少ない教示からでも制御方策を効率よく学べます。

従来の行動クローニングだけでは、このような視覚的文脈を十分に捉えきれないことがありました。

研究チームは、4種類のシミュレーション手術課題でこの手法を試しました。

行動ラベルなし映像での事前学習を加えると、平均成功率が63.5%から77.8%に向上しました。

なかでもPegTransferと呼ばれる課題では20ポイントの上昇です。

接触を多く伴う作業や両手を使う作業ほど改善が大きく、映像から得た視覚的なダイナミクスの知識が、限られた教示データの弱点を補っていると解釈できます。

もちろん、これはシミュレーション上の結果であり、実機での検証や安全性の確保など、越えるべき段階はまだあります。

それでも、行動データが乏しい状況で、映像という豊富な資源を制御に活かす道筋を示した意義は小さくありません。

データ効率の良い事前学習が、手術ロボットの学習を広げる現実的な手がかりになるかもしれません。

また、今回の結果は、事前学習に使う映像が必ずしも同じ課題のものでなくても役立つ可能性を示唆しています。

手術映像は施設ごとに蓄積されており、それらを横断して使えるなら、データ効率はさらに高まるでしょう。

一方で、シミュレーションと実際の手術映像の間には画質や組織の質感の差があるため、実機への移行には注意深い検証が必要です。

手術の現場には、映像として記録された膨大な経験がすでにあります。

それを手がかりに、ロボットが手技の勘所を学ぶという発想は、これからの研究を支える土台のひとつになり得ます。

筆者としては、映像という受動的な記録が、能動的な制御の学習に直接つながる点に、ロボット学習の新しい流れを感じます。

私もこの分野の歩みを、少し距離を置きながら、じっくり見ていきたいと思います。