いつ信じるかを学ぶAI：最新研究が示す「選択的信頼」の道

物理学者リチャード・ファインマンは「第一の原則は、自分自身を欺いてはいけないということだ。

そして、あなたが一番騙されやすい」と語った。

この戒めは、大規模言語モデル（LLM）にもそのまま当てはまる。

LLMは与えられた文脈に強く影響され、一つの誤った情報が正しい答えを間違いへと反転させてしまうのだ。

さて、最近発表された論文『Learning When to Trust via Selective Context Preference Optimization』は、まさにこの「騙されやすさ」に正面から取り組んだ研究である。

単にモデルを文脈に頑健にするだけでは不十分だとし、「いつ信じるべきか」を選択的に学習させる新しい枠組みを提案している。

文脈に振り回されるモデル

LLMは質問に答える際、しばしば追加の文脈（コンテキスト）を手がかりとする。

例えば「次の文の空欄を埋めてください」といった問題で、参考情報として与えられるテキストが正しければ精度は上がるが、逆に誤った情報が混ざると、モデルはそれに引きずられて間違えることが知られている。

従来の対策は、そうした誤った文脈を無視するようトレーニングすることだった。

しかし、これには副作用がある。

あらゆる文脈を疑うモデルは、本当に信頼できる情報まで活用できず、結果として本来の性能を発揮できなくなるのだ。

研究チームはまず、この問題を体系的に評価するため、人間が注釈付けしたベンチマーク「MIST」を構築した。

各推論問題を以下の4つの条件で提示する。

その上で、新たな評価指標「SC²W」（Selective Context to Wrong）を導入した。

これは、クリーンな状態では正解できる問題が、誤った文脈によって不正解に変わる割合を測るものである。

調査の結果、多くの公開モデルがこのような「脆弱性」を抱えることが明らかになった。

この課題に対し、論文は「SCOPE」（Selective Context Preference Optimization）という訓練手法を提案する。

基本的なアイデアは、同じ問題に対して「クリーン→正解」と「ミスリーディング→不正解」のペアを作り、Direct Preference Optimization（DPO）と呼ばれる手法でモデルの選好を調整するというものだ。

ただし、重要なのは誤った文脈だけでなく、正しい文脈や無関係な文脈でもバランスよくデータを構成する点である。

これにより、モデルは「文脈を全面的に信じる」でも「一切無視する」でもない、より細やかな信頼の判断を獲得する。

実験では、オープンソースの人気モデルにSCOPEを適用することで、SC²Wの値が大幅に減少。

同時に、正しい文脈が与えられた際の正解率や、無関係な文脈での安定性も保たれたという。

まさに“選択的信頼”が実現されたわけだ。

この研究は、AIが情報を取捨選択する能力の重要性を改めて浮き彫りにした。

私たち人間も日々、何を信じるかの判断を迫られている。

モデルたちが少しずつ賢くなっていく様子を見ると、なんだか頼もしくもあり、微笑ましくも感じる。

文脈との上手な付き合い方を学んだAIが、これからどんな場面で活躍するのか、楽しみに見守っていきたい。