自然さの、その先へ、言語学的視点で音声合成評価を鍛え直す

言語の限界が、私の世界の限界。
哲学者ウィトゲンシュタインはそう書き残しました。

私たちが何かを「自然だ」と感じるとき、その感覚は言語化できる部分と、そうでない微妙な領域に支えられています。

今日は、人間の耳と知覚にどこまで迫れるかを問う、刺激的な研究をご紹介します。

研究の背景：TTS評価のいま

テキストを音声に変換するTTS（Text-to-Speech）技術は、近年、深層学習の進歩によって驚くほど流暢になりました。

ニュースの読み上げはもちろん、オーディオブックやバーチャルアシスタントまで、合成音声は日常に溶け込みつつあります。

問題は、その「自然さ」をどうやって測るか。

従来の尺度は、MOS（平均オピニオン評点）と呼ばれる、人が聞いた印象を5段階で評価する方法が主流です。

しかし、人間の評価にはコストも時間もかかります。

そこで、MOSを自動予測するAIや、最近では音声を直接理解する大規模言語モデル（Audio-LLM）を使って、合成音声の品質を機械的に判定する試みが盛んになっています。

果たしてこれらの自動評価器は、人間が感じる「自然らしさ」をどこまで正確に捉えているのでしょうか。

2024年に発表された論文『Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions』では、この問いに真っ向から取り組みました。

研究チームは、「自然さ」は単一の尺度では測れないと考え、言語学の知見に基づき10の知覚次元に分割することを提案したのです。

具体的には、母音の明瞭さ、子音の精度、韻律の自然さ、ポーズの適切さ、強調の置き方など、人間の音声知覚に根ざした軸が並びます。

彼らは訓練を受けた言語学の専門家に依頼し、860の合成音声サンプルに対してこれらの次元を丁寧に評定させました。

この貴重なデータセットを基に、既存の自動評価器が各次元をどれだけ正しく判定できるかのベンチマークが組まれました。

検証対象となったのは、4種類のMOS予測器と、4種類のAudio-LLMジャッジです。

結果はやや皮肉なものでした。

MOS予測器は、音響的な信号の質（例えば、ノイズの有無や信号対雑音比）には敏感に反応するものの、言語構造上の細かな誤りにはほとんど無反応でした。

綺麗だけどアクセントが変、という合成音声を高く評価してしまう傾向があったのです。

一方、Audio-LLMは、プロンプトで「韻律の自然さに注目して」などと指示すれば特定の次元を評価できますが、その性能は次元ごとにバラつきがあり、全ての次元をまんべんなくカバーできるわけではありませんでした。

どちらの技術も、一長一短で、人間の多層的な知覚を再現するにはまだ階段の途中にいることが浮き彫りになりました。

この研究の最大の貢献は、単に技術の限界を示したことではなく、評価の新しい枠組みをオープンに提供した点です。

注釈スキーマとデータセット、評価コードはすべて公開されており、誰でもベンチマークを再現し、改良に参加できます。

私見になりますが、こうした「分解」のアプローチは、複雑なものを理解するうえで非常に理にかなっていると思います。

自然さという漠然とした概念を、確かな言語学的基盤に落とし込むことで、エンジニアはどこを改善すれば良いのか明確な指針を得られますし、ユーザーも「なぜこの音声は不自然に感じるのか」を言葉にしやすくなるでしょう。

音声合成の未来は、より人間らしい声を目指すだけでなく、その「人間らしさ」を多角的に評価できる目を育てることでもある。

そんな当たり前のことに、改めて気づかせてくれる研究でした。

それでは、本日はこの辺りで。

次回も、音とことばの交差点から、面白い話題をお届けします。