RAGは、生成AIの事実性をどこまで改善できるのか

LewisらのRAGは、モデル内部のパラメトリック記憶と、Wikipediaの密ベクトル索引という外部記憶を組み合わせました。知識集約型タスクで検索結果を条件に生成し、三つのオープンドメイン質問応答で当時の最高水準を達成し、生成文もパラメータだけのモデルより具体的で事実的だと報告しています。[1]

この結果が示すのは、更新可能な知識源と出典候補を生成処理へ持ち込めることです。一方、実験は当時のモデル、Wikipedia中心の索引、研究用タスクに基づきます。社内略語、権限付き文書、相互に矛盾する規程、更新途中の手順書を含む業務環境で同じ効果が出るとは限りません。[1]

移植可能性は、知識源の似かたではなく運用条件で判定します。必要文書が索引に存在するか、質問者の権限で取得できるか、有効版を一意に選べるか、矛盾資料を識別できるかを先に確認します。いずれかが満たせない領域では、RAGの回答品質ではなく知識整備の不足として扱い、回答生成の拡大を止めます。[1]

RAGTruthは、質問応答、データ要約、ニュース生成を含む標準的なRAG設定から、複数のLLMが生成した約18,000件の応答を集め、事例単位と語句単位で人手注釈しました。検索文脈が与えられていても、応答には取得内容に支持されない主張や、取得内容と矛盾する主張が残ることを前提に設計されたコーパスです。[2]

したがって評価表は一つの正答率で終わらせません。必要な文書が候補に入ったか、選ばれた箇所が質問を支持するか、回答中の各主張がその箇所から導けるか、引用先が実際の根拠かを分けます。検索失敗を生成モデルの失敗として数えるだけでは、直すべき部品を特定できません。

誤答の代替説明を消すため、検索結果を固定して生成器だけを比較する試験と、模範根拠を固定して回答だけを採点する試験を分けます。前者で差が出れば生成・引用、後者でも未支持主張が残れば忠実性が主因です。取得成功率と回答正答率の積だけで済ませず、支持されない主張と矛盾主張を別の停止指標にします。[2]

Liuらは、複数文書質問応答とキー・バリュー検索という二つの制御課題で、関連情報の位置を変えて長文脈モデルを調べました。多くのモデルは関連情報が冒頭または末尾にあるとき成績が高く、中央に置かれると大きく低下しました。長いコンテキスト窓を持つことは、その全域を同じ精度で使えることを意味しません。[3]

RAGでは、上位候補を多く詰め込むほど安心に見えますが、無関係な断片、重複、位置の偏りが新しい失敗要因になります。チャンクの大きさ、候補数、再ランキング、根拠の並べ方を固定値にせず、質問タイプ別に検索再現率と最終忠実性の両方で調整する必要があります。

根拠位置の影響は、同じ断片を候補列の前、中、後ろへ移す反実仮想テストで測れます。順序だけで回答や引用が変わるなら、候補追加による改善ではなく配置依存の可能性があります。対象質問では候補数を減らす、再ランキングする、または根拠を先に抽出する手順へ戻し、順序変化に耐えるまで自動回答の対象にしません。[3]

RAGTruthは根拠があっても未支持・矛盾主張が残ることを扱い、長文脈研究は同じ根拠でも位置により利用結果が変わる条件を示します。[2] [3] そこで正答の採点に加え、取得候補を意図的に変える反実仮想の根拠摂動試験を設け、回答が根拠へ追従するかを確かめます。試験版も回答へ結びます。

摂動試験では、主要根拠を一つ外す、無関係な断片を加える、候補順を入れ替える、模範根拠だけを渡すという条件を、同じ質問へ適用します。答えが変わるべき条件と変わるべきでない条件を先に記し、結果を検索成功率や最終正答率へまとめず条件別に残します。各条件は同じモデル版と生成設定で実行し、差の出所を限定します。

主要根拠を外しても断定が変わらない場合は、モデル内部の知識、別断片、質問の誘導という複数の説明が残ります。直ちに幻覚と決めず、引用した断片と主張の対応を確認します。候補順だけで結論が反転する質問は、自動回答へ戻す前に、候補削減や根拠抽出を含む別条件で再試験します。説明が競合した場合は保留します。

回答を一文ずつの主張へ分け、各主張を、直接支持、条件付き支持、矛盾、根拠なしへ分類します。複数断片を使う主張では、どの組合せがなければ成立しないかを必要支持集合として記録します。引用数を増やすことを品質にせず、不要な引用が断定を隠していないかも確認します。主張が大きすぎる場合は分割して再判定します。

条件付き支持では、期間、対象、例外、単位など、根拠から外すと意味が変わる限定句を回答へ残します。根拠が示す範囲より広い主張は、文章が自然でも不合格です。相互に矛盾する候補が渡された場合は、生成器に統合させず、どちらの主張も確定できない状態として保留させます。限定句を落とした要約は別の主張として扱います。

裁定後は、未支持主張を削除しただけの回答と、必要支持集合から再生成した回答を比べます。前者だけで合格するなら余分な主張の抑制、後者でなければ直らないなら根拠利用の再構成が必要です。修正箇所を検索器へ一括返却せず、摂動条件と裁定結果を対にして担当工程へ返し、修正前後の主張差分も保存します。

• PERTURB：除去・追加・順序変更・模範根拠の条件を固定する
• EXPECT：条件ごとに変わるべき主張と不変の主張を先に記す
• ADJUDICATE：直接支持・条件付き・矛盾・根拠なしを裁定する
• MINIMIZE：主張を成立させる必要支持集合と限定句を保存する

第一の関門は検索です。代表質問に対して正しい版の文書が取得され、権限外や失効文書が混ざらないかを確認します。第二の関門は根拠利用です。正しい断片を渡した状態で、支持されない補足を加えず、矛盾する資料を識別できるかを確認します。第三の関門は業務成果で、回答者の確認時間、差し戻し、重大誤答、保留の適切さを測ります。

本番では質問、検索候補、採用根拠、回答、モデルと索引の版、確認者の修正を同じ記録へ残します。誤答を見つけたら、文書欠落、検索順位、文脈配置、生成、引用表示のどこで壊れたかを分類します。RAGの成熟度は、もっともらしい回答率ではなく、誤りを局所化し、根拠とともに修正できる速さで評価します。

本番の変更責任者は、文書所有者、検索担当、回答品質担当を分けて置きます。重大誤答が増えたときは、直前のモデルだけでなく索引版、権限規則、候補順も復元し、どの関門で悪化したかを再現します。原因を特定できない場合は、該当質問群を保留へ戻すことをロールバック条件とし、全体平均の回復だけで解除しません。

• 検索：正しい有効版が候補へ入り、権限外・失効文書が混ざらないか
• 忠実性：回答中の各主張を採用根拠へ対応付け、未支持と矛盾を分けて数える
• 保留：必要根拠がない、競合する、または引用を再現できない質問は回答しない
• 復旧：質問、索引、候補順、モデル、修正履歴をそろえて失敗標本を再実行する