「ExtractBench」が示す、企業文書抽出AIの新たな物差し

AI評価の世界でよく耳にする「グラウンドトゥルース（正解データ）」という言葉、もともとは人工衛星の観測値を地上の実測値と照らし合わせるリモートセンシング分野の用語だそうです。

どんなに優れたセンサーでも、現場の事実と突き合わせなければその正確さは測れない。

文書から情報を抜き出すAIも、同じことが言えます。

今回紹介するExtractBenchは、そんなAIに「正解」を与え、実力を多角的に測るためのテストベッドです。

ExtractBenchとは？

企業の日常には、請求書、契約書、報告書など、さまざまな帳票が溢れています。

そこから必要な項目、たとえば「請求日」「合計金額」「取引先名」を抜き出し、データベースに登録する作業は、地味ながら膨大な手間を要します。

この作業を自動化するのが、スキーマガイド抽出と呼ばれるタスクです。

あらかじめ「どの項目を、どんな形で抜き出すか」を定義したスキーマ（設計図）をAIに与え、文書を読み込ませると、AIが該当する値を探して出力します。

ExtractBenchは、このスキーマガイド抽出に特化したベンチマークで、8業種・67文書タイプにわたる370文書、4,869ページのデータセットと、精密な評価指標を備えています。

このベンチマークが新しいのは、値の正確さだけでなく、「レコードの完全性」「根拠の明示」「コスト」まで総合的に見ることです。
値の正確さは、順序を問わないF1スコアで評価します。

レコードの完全性は、たとえば取引明細のような繰り返し項目が、最後の行まできちんと抜き出せているかをチェックします。

グラウンディングは、抜き出した値が文書のどの位置（単語やページ）から来たのかを正しく示せているかを問います。

これによって、後から人間が検証する際の手がかりが得られます。

さらに処理にかかる時間や費用も指標に含まれるため、実運用に耐えるかどうかが浮き彫りになります。

データセットには、手書き文字、スキャンの歪み、複数ページにわたる複雑な表など、現場でありがちな難しさが意図的に盛り込まれています。

正解データを作るにあたっては、複数のAIシステムの出力を突き合わせて合意を取る方法、合成リストにあらかじめ正解値を埋め込む方法、そして人がフォームを目視で確認する方法を組み合わせ、大規模ながら信頼性の高いグラウンドトゥルースを構築しました。

論文では、商用の視覚言語モデル（VLM）やコーディングエージェントが評価されています。

VLMは短い文書では高い精度を誇りますが、長い文書になるとレコードのリストを途中で打ち切ってしまう傾向が見られました。

注意を持続するのが難しいようです。

一方、コーディングエージェントはPythonコードを生成して解析するため、高い一貫性を保てますが、コストがかさみます。

そんな中、LlamaExtract Agentic Plusというモデルは、コーディングエージェントに迫る正確さを、はるかに低いコストで達成し、三つの評価指標すべてで首位となりました。

いいとこ取りのアプローチと言えそうです。

結局のところ、きちんと測らなければ、良し悪しは語れません。

ExtractBenchのようなベンチマークは、地味だけれど、AIを現場に根付かせるための重要な一歩だと感じます。

文書処理の自動化を検討している方にとっては、選択のための確かな目安になるでしょう。

今回も最後までお読みいただき、ありがとうございました。

ではでは。