ロボットの記憶力が劇的に向上？ 8,000ステップの文脈を扱う『RoboTTT』の挑戦

「マジカルナンバー7±2」という言葉を聞いたことがあるでしょうか。

心理学者ジョージ・ミラーが提唱した、人間の短期記憶が一度に保持できる情報の数はおおよそ7つ前後だという説です。

この制約があるからこそ、私たちは長い手順をこなすとき、メモを取ったり、習慣化したりするわけですね。

ロボットにとっても、これはなかなか頭の痛い問題でした。

従来のロボット制御モデルは、せいぜい1ステップから数十ステップ程度の視覚と動作の履歴しか考慮できず、長い作業の流れを覚えておくことが苦手だったのです。

ところが今年に入り、NVIDIAの研究チームから『RoboTTT（ロボティー）』と呼ばれる新しい手法が発表されました。

これがなんと、8,000ステップもの文脈を扱い、ロボットの「記憶力」を飛躍的に伸ばすというのです。

RoboTTTとは、ロボットのための超長文脈学習

RoboTTTは『Test-Time Training』の頭文字をとったもので、推論時にも学習を続ける仕組みをロボットの基盤モデルに組み込んだ手法です。

従来のモデルは、学習が終わったら重みが固定され、同じルールで動作していました。

しかしRoboTTTでは、ロボットが作業を進めながら、その場で過去の履歴をもとに内部の「ファストウェイト」と呼ばれるパラメータを勾配降下法で更新していきます。

いわば、作業のたびに少しずつコツを覚えていくようなものです。

この仕組みにより、物理的には小さなモデルでも、8K（8,000タイムステップ）という非常に長いコンテキストを扱えるようになりました。

これは、例えば5分間の連続した作業映像に相当し、従来の最先端モデルと比べて3桁も長い文脈長です。

しかも、推論の遅延は増えません。

過去の情報を重み空間に圧縮して保持するため、計算負荷が文脈長に比例して増加しないのです。

RobotTTTが特に興味深いのは、文脈の長さそのものがロボットの性能を大きく左右するという発見です。

研究チームは、同じモデルを1,000ステップと8,000ステップの文脈長で事前学習させたところ、8,000ステップ版が62%も高い成功率を示しました。

これは、従来スケーリングの対象と考えられてきたモデルのサイズやデータ量に加えて、「文脈長」が新たな性能向上の軸になることを示唆しています。

実際に、RoboTTTは人間のデモンストレーション動画を一度見ただけで模倣するワンショット模倣や、作業中に外乱を受けても自律的に回復する頑健さ、さらには10段階もある5分間の組み立て作業を完全にやり遂げるなど、多彩な能力を獲得しています。

ベースラインとの比較では、全体の成功率が87%も向上しており、これまでのロボット制御の限界を大きく塗り替える結果です。

学問的にも工学的にも、時系列情報をどのように扱うかは長年のテーマでした。

RoboTTTは、試験時に学習するというシンプルながら強力な着想をロボット分野に持ち込むことで、次世代の賢いロボットへの道を拓いたと言えそうです。

まだ研究室の中での成果ではありますが、この「長い記憶」が実用化されれば、家庭や工場での活躍の場が一気に広がるかもしれません。

さて、今回はあくまで技術の紹介ですが、私たち人間の学び方ともどこか通じるものがありますね。