AIに創造性を教える「CreativeInstruct」という試み

アインシュタインは「想像力は知識よりも重要だ」と言った。

AIの話になると、つい知識量ばかりが話題になりがちだが、最近の研究はまさに「想像力」や「創造性」という、これまで機械には難しいとされてきた領域に踏み込んでいる。

今回取り上げるのは「CreativeInstruct」という、大規模言語モデル（LLM）に創造性を教える、ちょっと変わった技術だ。

CreativeInstructが目指す「創造性のバランス」

昨今のLLMは、人間のフィードバックを活用した追加訓練（ポストトレーニング）によって、回答の正確さや安全性が大きく向上している。

ところが、その代償として出力の多様性や創造性が損なわれるという課題が知られている。

物語の生成のような、明らかに創造性を求められるタスクはもちろん、強化学習の探索プロセスなど、間接的に創造性が求められる場面でも悪影響が出てしまう。

CreativeInstructは、こうした「品質」と「創造性」のトレードオフを解消するために提案された手法だ。

基本的なアイデアはシンプルで、訓練時に特別なトークン「[StartCreativity]」を導入し、モデルに「ここからは創造的な出力をしてほしい」という指示を埋め込めるようにする。

これによって、普段は高品質で安全な出力を保ちつつ、必要なときにだけ創造的なモードへ切り替えられるようになる。

この特別トークンは、訓練データの中で創造性が求められる部分に挿入され、モデルはその前後で文体や発想を変えることを学習する。

推論時には、ユーザーが同じトークンをプロンプトに含めることで、モデルの出力を創造的な方向にバイアスをかけることができる。

いわば、モデル内部に「創造性のスイッチ」を組み込むようなものだ。

興味深いのは、この仕組みが特定のタスクに依存しない点である。

物語生成だけでなく、将来的には対話や問題解決など、創造的な発想が求められるあらゆる場面で応用できる可能性がある。

創造性を評価するのは難しい。

従来の指標は単語の重複や意味的な類似度に頼ることが多く、物語の筋書きそのものの多様性を捉えきれていなかった。

研究チームはこの問題に対し、グラフ編集距離に基づく「構造的多様性」という新しい指標を導入した。

物語をイベントのグラフとして表現し、その構造的な違いを測ることで、表面的な言い回しではなく、話の展開のバリエーションを定量化できるようになった。

CreativeInstructで訓練したモデルは、創造性を求められるタスクにおいて、品質を犠牲にすることなく、既存手法を上回る多様性を達成した。

人間による評価でも、70.3%のケースで、通常のポストトレーニングモデルよりもCreativeInstructモデルの出力の方が「創造的だ」と評価されている。

さらに、このモデルを強化学習の基盤として使うと、数学の推論タスクで正答率が5%近く向上するという副次的な効果も確認された。

創造性が高まったことで、探索の幅が広がり、より良い解法を見つけやすくなったと考えられる。

創造性は曖昧で掴みどころがないが、こうした技術が精度と創造性の両立に一歩近づけたのは面白い。

今後、AIが人間のパートナーとしてより柔軟な発想を提供できるようになるかもしれない。