Kimi K3が開くオープンフロンティアの知性

アーサー・C・クラークはこう言いました。

『不可能の限界を発見する唯一の方法は、それを越えて不可能な領域に踏み込むことだ』と。

、、、今日ご紹介するのは、まさにその不可能に挑んだモデル、Kimi K3です。

最近海外の技術者の間で話題を集めているのが、中国のAI企業Moonshot AIが発表した大規模言語モデル、Kimi K3。

パラメータ数はなんと2.8兆。

これはオープンモデルとして初めての3Tクラス到達であり、ネイティブの画像認識能力や100万トークンのコンテキスト窓を備え、コーディングや知識労働の分野で最先端の性能を示しています。

クローズドなモデルにはなお及ばない点もありますが、オープンな形でここまでの知性を提供する意義は小さくありません。

巨大パラメータの向こう側

Kimi K3の規模は圧倒的です。

MoE（Mixture of Experts）構造を採用し、総計896のエキスパートのうち16を動的に活性化。

これをStable LatentMoEという枠組みで安定させています。

さらに、系列長やモデル深度にわたる情報の流れを改善するため、Kimi Delta Attention（KDA）とAttention Residuals（AttnRes）という二つの新機構を導入しました。

このアーキテクチャ改良と学習レシピの洗練により、前世代のKimi K2に比べて約2.5倍のスケーリング効率を達成したとのこと。

計算資源を無駄なく知性に変える、そんな進化です。

このモデルの真骨頂は、長期にわたるコーディング作業をほぼ自律的に遂行できる点です。

例えばGPUカーネルの最適化では、特定タスクにおいてクローズドモデルに迫るか凌ぐ結果を出しました。

さらに面白いのが、MiniTritonという名の小さなTriton風コンパイラをゼロから開発したケース。

タイルレベルのIR層から最適化パス、PTXコード生成までを自前でこなし、実ベンチマークで既存ツールに匹敵する性能を示したばかりか、nanoGPTのエンドツーエンド学習も安定して完遂しました。

単なる断片的なコードではなく、統一感のあるシステムを構築できる点が注目されています。

コーディングだけでなく、文献調査やデータ分析といった知識労働でも力を発揮します。

天体物理の分野で知られる「I-Love-Q」普遍関係を再現するというタスクでは、20本以上の論文を精査し、300以上の状態方程式を評価、3000行以上のPythonコードを生成してインタラクティブな可視化ダッシュボードまで作成。

通常は経験豊富な研究者が1〜2週間かける作業を、わずか2時間ほどで成し遂げたといいます。

ビジュアルを交えた深いリサーチが、一人ひとりの手に届くようになるかもしれません。

Kimi K3の完全なモデルウェイトは、2026年7月27日までに公開予定。

オープンソースの推論エンジンやコミュニティとの協業も進められており、最先端AIの民主化がまた一歩前進します。

ツールとしての完成度もさることながら、チップ設計など自分のアーキテクチャを自ら最適化するような、自律的なエージェントとしての側面も見逃せません。

次々と境界を押し広げるKimi K3。

私たちがその恩恵をどのような形で受け取っていくのか、楽しみな時代です。