万能ハーネスの夢、自動発見が教える適応の重要性

トーマス・エジソンの言葉に「天才は1%のひらめきと99%の努力」というものがあります。

新しいものを生み出す裏側には、実に多くの試行錯誤が隠れている。

AIの世界でも、その「努力」の部分を自動化しようと、さまざまな研究が進められてきました。

今回は、そんな自動発見の分野から「Automated Discovery Has No Universally Superior Harness」という研究を、専門外の方にもわかるようにご紹介します。

自動発見とハーネスとは

自動発見とは、AIが自ら新しいアルゴリズムやアイデアを探し出す仕組みです。

その探索の進め方を定めた枠組みを「ハーネス」と呼びます。

OpenEvolveやTTT-Discoverといった有名なハーネスは、これまで「とりあえず使えるレシピ」のように扱われる傾向がありました。

しかし、実のところハーネスは、候補の保存方法（アーカイブ）や、次の世代を生み出すための親の選び方、探索の多様性、計算資源の配分など、複数の設計選択を組み合わせた複合システムなのです。

研究チームは、12種類のモデルと問題の組み合わせに対して、予算を揃えた30通りのハーネスを比較しました。

310万回を超えるLLMの試行を統計的に分析した結果、あらゆる状況で常に優れた固定ハーネスは存在しないことが明らかになりました。

OpenEvolve系の複雑なハーネスよりも、単純な手法のほうが良い成績を収めるケースも多かったのです。

つまり、ハーネス選びは「万能レシピ」などではなく、問題やモデルに応じて調整すべき「ハイパーパラメータ」に過ぎない、というわけです。

さらに面白い発見として、探索のごく初期における進捗が、最終的な性能を強く予測できることもわかりました。

この性質を利用して、複数のハーネスを同時に走らせ、途中で成果の乏しいものを打ち切り、有望なものに計算資源を再配分する「適応的割り当て」実験が行われました。

結果は、ランダムに選んだ固定ハーネスや単純なアンサンブルよりも優れた性能を示し、事前に決めた枠組みに固執するよりも、初期の手応えに応じて柔軟にリソースを振り分けることの有効性が確認されたのです。

この研究に触れて、筆者はあらためて「万能の解決策」を求めることの危うさを感じました。

私たちはつい「これさえあれば大丈夫」という決まった型を追い求めがちですが、現実はもっと複雑で、状況に合わせて道具を選び直す賢さこそが重要なのでしょう。

自動発見の世界でも、その柔軟性が成果を左右する。

それはなにもAIに限った話ではなく、私たちの仕事や暮らしの中でも同じことかもしれません。

固定観念にとらわれず、変化を見極める目を養っていきたいものですね。