PDFへ答えられても、文書を理解したとは限らない

DocVQAは、12,000枚超の文書画像に対する50,000問を収録し、当時の既存モデルと人を比較しました。人の正解率は94.36%で、モデルには大きな差が残り、とくに文書構造の理解が必要な質問で改善が必要だと報告しています。[1]

請求書や申請書では、文字列が読めても、項目名と値の対応、欄外注記、繰り返し表、ページ見出しを誤れば回答は変わります。評価ではOCR文字列の一致、正しい領域の特定、質問に対応する値の抽出を分けます。スキャン品質、回転、手書き、複数言語も別の層として標本化します。

読取工程と構造理解を切り分けるため、同じ質問へ原画像、正しいOCR文字列、正しい領域情報を順に与える比較をCatalysphereの診断案として提案します。原画像だけで落ち、正しい文字列なら通る場合は読取工程、文字列を与えても欄の対応を誤る場合は構造理解を調査候補にします。帳票ごとに失敗工程の比率を記録し、特定工程が現行手順を下回る間は、その工程を含む自動確定へ進めない受入条件を置きます。この診断手順の有効性をDocVQAが実証したわけではありません。[1]

ChartQAは、9,600の人手質問と23,100の要約由来質問を集め、実世界のグラフに対する視覚・論理推論を評価しました。質問には系列や色への参照だけでなく、最大値、差、集計、比較などの操作が含まれ、提案モデルにも複雑な推論上の課題が残りました。[2]

グラフ回答では、凡例の系列、軸、単位、期間、値の読み取り、計算を一つずつ記録します。最終数値だけを正解判定すると、誤った系列から偶然同じ値を出した回答を見逃します。色だけに依存する質問、切れた軸、二軸、積み上げ、注記付きの図を代表例へ含めます。

グラフについては正答だけでなく、系列、軸、単位、期間、読み取った値、演算を採点欄として固定します。最終値が合っていても、この経路のどこかが原図と一致しなければ偶然正解として扱います。凡例や軸の表現を変えた対照図でも結論が保たれることを、別様式へ移す前の採用条件にします。[2]

TAT-QAは実際の財務報告から表と文章を組み合わせ、加減乗除、計数、比較、並べ替えなどを必要とする質問応答を構築しました。提案モデルTAGOPは58.0% F1で、それ以前の最良ベースラインを11.1ポイント上回りましたが、専門家の90.8% F1には大きく届きませんでした。[3]

財務・経営資料では、表の値だけでなく、定義、対象期間、例外、単位が本文や脚注にあります。AIに答えだけを生成させず、使用したセル、文章範囲、演算子、途中値を構造化して返させます。元の合計と再計算結果が一致しない場合や、必要な値が見つからない場合は保留にします。

表と本文をまたぐ処理は、必要なセルと注記がそろった閉じた問題、必要情報が欠ける問題、互いに矛盾する問題を分けて試します。欠損時にも数値を補ってしまうなら、算術精度が高くても業務では不合格です。財務報告で得た評価を契約書や日本語帳票へ移すときは、文書型ごとに根拠抽出と計算の両方を再検証します。[3]

DocVQA、ChartQA、TAT-QAは、文字、配置、図表参照、算術が同じ能力ではないことを扱っています。[1][2][3] ただし各ベンチマークの成績だけでは、自社回答が原文の証拠を読んだのか、帳票の定型や質問文から答えを推測したのかまでは判別できません。

以下は検査上の推奨です。原文の意味を保ったまま、字体、色、列順、ページ位置だけを変えた文書を作り、答えが不変であるべき組を定義します。反対に、単位、対象期間、凡例の対応だけを変えた組では、変えた部分に応じて答えと根拠が動くことを期待値として事前に書きます。各変形には再生成可能な規則を付け、更新後も同じ対照を再生します。

仮想例として、同じ表を左右反転して答えが変わるなら、数値ではなく位置に依存した可能性があります。単位だけ変えて値も説明も動かないなら、単位を読んでいない可能性があります。これは失敗原因の確定ではなく、疑う工程を狭める反証試験として扱い、元の文書型ごとに保存します。

回答が二つの経路で食い違った案件は、最終値だけを多数決しません。同じ文書版を使い、画像から直接読んだ経路、抽出文字から組み立てた経路、決定的な再計算の結果を一つの証拠束へまとめ、どの経路がどの領域と変換を使ったかを、回答を知らない確認者が判定できる形にします。証拠束にはモデル回答を隠した裁定用表示も作ります。

両経路の値が一致しても、参照ページや対象期間が違えば合格にしません。一方、値が違っても丸め規則や表示単位の差で説明できる場合は、読取失敗とは別に分類します。裁定理由を『原文一致』『変換規則一致』『情報不足』『競合証拠』へ分けると、偶然一致と許容差を混ぜずに済みます。

推奨する採用条件は、同じ証拠束を別の確認者へ渡しても、採用・保留・棄却の結論と理由区分が再現することです。再現しない案件は、モデル精度の集計へ直ちに戻さず、正解定義または文書上の曖昧さを解消する対象にします。対象外の版型では、既存の裁定規則を自動継承しません。

• TEST ID：原文と変形版を結び、変えてよい要素と版型を特定する
• EXPECTED RELATION：答えが不変か、どの箇所に応じて変わるかを先に定義する
• EVIDENCE BUNDLE：各経路の領域、変換、途中値、差分理由を一件へ束ねる
• ADJUDICATION：原文一致、規則一致、情報不足、競合証拠の別で結論を残す

評価集合は、契約書、規程、請求書、報告書、スライドなどの文書種別と、単純抽出、位置関係、複数箇所統合、算術、図表解釈という質問種別の表で作ります。頻度だけでなく、誤ると影響が大きい組み合わせを厚くし、回答不能な質問も入れます。

運用画面では、回答と同時にページ画像の根拠領域を示し、引用箇所へ直接戻れるようにします。高影響の数値は原文との二者確認または決定的な再計算を通します。モデルやOCRを更新したら同じ評価集合で差分を測り、改善した平均値の陰で特定帳票が悪化していないかを確認します。利用者の訂正を文書種別と失敗工程へ戻し、次の評価標本に加える循環も欠かせません。同じ帳票名でも版型が違う場合は別群として追跡し、少数派の様式を全体平均に埋もれさせない運用が必要です。

運用責任は、帳票の版型を管理する業務責任者、回答経路を確認する品質担当、OCRやモデル変更を管理する技術担当に分けます。更新後に平均が改善しても、高影響の文書型で根拠領域の一致または再計算結果が悪化したら旧版へ戻します。復旧判定には同じ失敗標本を使い、修正済みという申告だけで再開しません。

• 受入条件：文書種別と質問種別の各対象群で、現行手順以上の根拠一致を確認する
• 保留条件：ページ、領域、単位、元の値、演算のいずれかを再現できなければ確定しない
• 変更管理：OCR、モデル、前処理、帳票版型の変更を別々に記録して同じ標本で比較する
• 責任分担：業務責任者が正解と影響を、品質担当が再検証を、技術担当が復旧を所有する