必要なものだけを見る知恵：ReTokenが切り拓く視覚言語モデルの効率的検索

人間の目は、視界の中心だけがくっきり見えて、周辺はぼんやりしている。

それでも私たちは風景全体を把握できる。

脳が重要な部分に注意を向け、それ以外をうまく補っているからだ。

この「必要なところだけ見る」働きは、実はAIの世界でも大きな課題だった。

画像や動画を扱う視覚言語モデル（VLM）は、入力が長くなると性能が落ちる。

たくさんの余計な情報がノイズになり、計算資源も圧迫する。

そこで登場したのがReToken（リトークン）だ。

たった一つの特別なトークンで、長い文脈から必要な視覚情報だけを選び取る手法である。

ReTokenの基本的な考え方

VLMはふつう、画像を細かいパッチ（トークン）に分割し、テキストと組み合わせて理解する。

しかし、多数の画像や長い動画が入力されると、トークン数は膨大になる。

たとえば「Visual Haystacks」というベンチマークでは、大量の画像に埋もれた特定の情報を探す課題が出される。

これまでは、すべてのトークンを一度に処理しようとして、GPUメモリが足りなくなったり、モデルが混乱したりしていた。

ReTokenは、これを解決するために、たった一つの学習可能な埋め込み（トークン）を導入する。

このトークンは、あらかじめ計算された視覚特徴のキャッシュ（KVキャッシュ）の中から、質問に関係するトークンだけを「検索」するように訓練される。

検索と言っても、人間がキーワードで探すのではなく、モデルが注意（アテンション）の仕組みで自然に関連度の高いものを選び出す。

学習は小さな画像QAデータセットだけで済み、追加のプリトレーニングは不要だ。

ReTokenは、驚くほど一貫した改善をもたらす。

たとえば、Qwen3VL-8BやInternVL3.5といった既存の高性能VLMに組み込むと、Visual Haystacksで13.4ポイント、12.4ポイントもスコアが向上する。

これは相対的に20%以上の伸びだ。

さらに、画像データだけで学習したReTokenが、動画のベンチマーク（LVBench）でもそのまま効果を発揮し、8ポイントのゲインを記録した。

訓練も推論も、1枚のH100 GPUに収まる軽さも魅力である。

人間が目まぐるしい景色から知りたいものだけにフォーカスするように、ReTokenは「問い」に応じて視覚トークンを間引く。

これにより、無関係な情報がモデルの判断を邪魔しなくなる。

技術的には、クロスアテンションや検索クエリとして振る舞うトークンを学習させ、KVキャッシュからスパースな選択を行う。

しかも、その選択は微分可能なかたちで訓練されるため、勾配がきちんと伝わり、効率的に最適化される。

ReTokenのアプローチは、一見シンプルだが、長大な視覚文脈を扱うあらゆる場面で役立つだろう。

監視映像の解析や、ロボットが見る大量のセンサー情報、さらには博物館のデジタルアーカイブ検索など。

モデルが大きくなるほど重要性を増す「注意の選択」を、わずか一つのトークンで実現したことがポイントだ。

私たちはいつも、あふれる情報の中で必要なものを見つけたいと願っている。

ReTokenは、そんな人間の願いにそっと寄り添うような技術と言えるかもしれない。