シリコンに刻まれた推論、AMDのTaalas買収が示すAIチップの新章

アーサー・C・クラークの「充分に発達した科学技術は、魔法と見分けがつかない」という言葉があります。

半導体の世界では、そんな魔法がまたひとつ、現実のものになろうとしているのかもしれません。

さて、AMDがTaalas（ターラス）という小さな半導体設計会社を買収した、というニュースが海外の技術者のあいだで静かな話題になっています。

この会社、AIの「推論」を飛躍的に速くするために、モデルの重みをシリコンに直接刻み込んでしまうという、なかなか大胆な発想の持ち主なのです。

モデルがシリコンに宿る時代

現在のAIチップの主流は、GPUに代表されるように、モデルの重みデータを外部メモリ（HBMなど）に置き、それを計算ユニットまで運んで処理する方式です。

ところが、重みの読み出しにはどうしても時間がかかり、これが推論速度の足かせになる。

Taalasの考え方は、「それなら最初からシリコンに重みを焼き付けてしまおう」というもの。

いわば、ニューラルネットワークの構造そのものを配線パターンとして物理的に固定した「モデル特化型集積回路（MSIC）」です。

彼らが今年2月に発表した試作チップ「HC1」は、TSMCの6nmプロセスで製造され、MetaのLlama 3.1 8Bモデルを毎秒約17,000トークンで処理しました。

これは発表当時、NvidiaのGPUに比べて48倍も高速だったといいます。

この驚異的な速度は、マスクROMのように重みを固定した領域（リコールファブリック）と、KVキャッシュや細かな調整を保持するSRAM領域の組み合わせから生まれます。

データをあちこちに運ばなくてよいため、レイテンシが最小化されるのです。

チップ一つで扱えるパラメータ数は20B程度を想定していますが、より大規模なモデルでも複数のチップにパイプライン並列で分散すれば、例えば1兆パラメータ級なら50枚ほどで済む計算です。

AMDが持つラックスケールのシステム設計力と組み合わせれば、膨大な数のGPUを並べるよりもずっと省電力で高速な推論基盤ができる可能性があります。

もちろん、これには大きなトレードオフがあります。

モデルの重みを物理的に固定するため、後から別のモデルに切り替えたい場合はチップを再設計しなければなりません。

ただし、完全な作り直しではなく、金属層を2層だけ変更する程度で済むそうですから、想像よりは柔軟ともいえます。

それでも、新しいモデルが毎月のように登場する現在のAIシーンでは、本当に「このモデルで行く」と決めた場面でしか使いづらいでしょう。

AMDはこの技術を、自社のGPU（Instinctシリーズ）と組み合わせ、プロンプト処理のような計算負荷の高い部分はGPUに任せ、トークン生成のような推論部分をTaalasチップにオフロードする、といった使い方を想定しているようです。

モデル開発企業がGPU上で十分に検証したモデルを、いわば「焼き付けて」本番運用する、という段階的な活用法が現実的かもしれません。

テクノロジーはしばしば、ソフトウェアとハードウェアの境界を曖昧にしてきました。

シリコンに重みを刻むという発想は、その最たるもののひとつでしょう。

大規模言語モデルが社会インフラに組み込まれ始めた今、特定の優れたモデルを長期にわたって高速に動かし続ける需要は確かに存在します。

固定化のリスクを受け入れてでも、10倍、20倍の速度が欲しい場面は、必ず出てくる。

そんな時代の足音が、今回の買収からは聞こえてきます。

魔法がまたひとつ、私たちの日常に近づいたのかもしれません。