動画生成に推論を宿す、OpenCoF の模索

「一つの絵は千の言葉に値する」という言葉があります。

では、考えをめぐらせるプロセスもまた、静止した言葉の鎖だけでなく、動きのある映像の連なりとして紡げるのではないか。

そんな問いから生まれたのが、最新の研究「OpenCoF: Learning to Reason Through Video Generation」です。

最近の大規模モデルは「Chain-of-Thought（CoT）」、つまり言葉による思考の連鎖で複雑な推論をこなします。

一方、OpenCoF は「Chain-of-Frame（CoF）」という考え方を打ち出しました。

推論を時間的に繋がった映像フレームとして展開するのです。

しかし、既存の動画生成モデルは一般的な動画で学習しており、多様な推論の教師信号や専用の仕組みが不足していました。

そこで研究者たちは、二つの手立てを用意しました。

データセットとモデル、OpenCoF-17K と Wan-CoF

まず用意されたのが、11 のタスク群からなる推論動画データセット「OpenCoF-17K」です。

たとえば、物の移動や数の変化、手順の順序など、論理的なつながりを視覚的に示す動画が集められました。

そして、このデータで既存の動画生成モデル Wan2.2-I2V-A14B を追加学習したモデルが「Wan-CoF」です。

結果として、4 つの推論ベンチマークで元のモデルを大きく上回る性能を示したといいます。

さらに面白いのが、モデルに「視覚推論トークン」と「テキスト推論トークン」という二つの仕組みを組み込んだ点です。

視覚トークンは映像の低レベルな手がかり（色や形の細かな変化）を扱い、テキストトークンは高レベルな意味のつながりを扱うように設計されています。

これにより、空間的・時間的な推論がより深く行えるようになるのではないか、という狙いです。

実際に性能を比べたり、モデル内部の注意の向け方（アテンション）を分析したりすると、これらのトークンがモデルの深さ方向やノイズ除去の段階、空間・時間のどこで効いているかが見えてきました。

どうやら「映像による推論」を強くするには、時間に沿った多様な教師信号と、思考の中間状態をうまく整理する明示的な仕組みの両方が欠かせないようです。

さて、映像の連鎖で考える AI と聞くと、私たち自身の思考のあり方にも思い至ります。

言葉にならないイメージを頭の中で転がすこと、誰しも経験があるのではないでしょうか。

研究の進展は、そんな人間の内的なプロセスを少しずつ写し取ろうとしているのかもしれません。

OpenCoF のコードやデータは公開されており、今後の展開が楽しみです。

考えるという営みを、言葉だけでなく動きとしてもモデル化しようとする挑戦。

一歩ずつ確かめながら、次はどんな連鎖が生まれるのか、一緒に眺めてゆきたいと思います。