Inklingが拓く、重みを開くという選択、オープンウエイトモデルの新しい波

「inkling」という単語は、14世紀から「かすかな予感」や「ほのめかし」を意味してきたそうです。

語源ははっきりしないものの、何かが形になる前の、ぼんやりとした手応えを表す言葉です。

そんな名前を与えられた大規模言語モデルが、いま海外の開発者コミュニティを賑わせています。

Thinking Machines Labが公開した「Inkling」は、975BパラメータのMixture-of-Experts（MoE）モデルで、アクティブなパラメータは41B。

テキスト、画像、音声、動画の4つのモダリティに対応し、最大100万トークンの文脈を扱える、とても柔軟なオープンウエイトモデルです。

多様な専門家が力を合わせるMoE構造

Inklingの核となるのは、MoEと呼ばれる仕組みです。

これは、内部に複数の小さな「エキスパート」ネットワークを持ち、入力された内容に応じて適切なエキスパートを選んで活性化させる技術。

総パラメータ数こそ膨大ですが、実際に計算に使われるのは一部だけなので、推論の効率と表現力のバランスに優れています。

Inklingは41Bのアクティブパラメータでこの仕組みを実現し、コストを抑えつつ高度な処理を可能にしています。

興味深いのは、Inklingが「考える努力」を制御できる点です。

たとえば、簡単な事実を尋ねるだけなら浅く素早く応答し、複雑な推論が必要な問いにはじっくりと思考を重ねる、そんな使い分けが、推論時のリソース指定で可能になっています。

これは、実務において応答速度と精度のトレードオフを細かく調整したい技術者にとって、とても実用的な特徴です。

Inklingは、テキストだけでなく、画像や音声を直接理解するマルチモーダル能力を備えています。

さらに、ツールを操作したり、コードを生成したりするエージェント的な動きも特徴的です。

公開されたデモでは、ユーザーの指示からその場でWebアプリを生成し、ブラウザを埋め込んで実行する様子が紹介されていました。

これは、単なる会話モデルを超えて、実際の作業を代行できる可能性を示しています。

とりわけ話題を呼んだのが、Inkling自身が自分のファインチューニングを行う例です。

Tinkerというプラットフォーム上で、モデルに「eの文字を一切使わないリポグラムモデルに自分を改造して」と指示すると、Inklingは学習データを生成し、トレーニングを実行し、結果を評価して、自らの重みを更新しました。

この一連の流れが示すのは、オープンウエイトの強み、誰もが特定のタスクやスタイルにモデルを最適化し、まるで道具のように自分好みに仕上げられる自由度です。

芸術の現場に身を置く者として思うのは、こうした技術が表現の選択肢を静かに広げていくのだろうということ。

特定の作風や制約を学習させたモデルは、創作の相棒として新しい対話を生むかもしれません。

Inklingはまだ第一弾。

今後、このファミリーからどんなモデルが育っていくのか、その兆しを感じさせる公開でした。