社内AIの答えは、検索精度より先に知識の寿命で壊れる

KILTは、事実確認、エンティティリンク、関係抽出、オープンドメイン質問応答、対話という五つのタスクにまたがる十一データセットを、同一のWikipediaスナップショットへ接続しました。約320万の事例で、最終出力だけでなく根拠の来歴も評価する共通枠組みです。[1]

企業内では、回答の根拠を文書名だけでなく、文書ID、版、節、所有者、有効期間まで戻せるようにします。同じ規程の旧版と新版、全社版と地域版、正式手順と参考資料を区別できなければ、検索上位でも採用してはいけません。来歴は説明用の飾りではなく、回答を再現し訂正するための主キーです。

来歴の受入条件は、回答から有効な原文の該当節へ戻り、同じ権限の確認者が同じ根拠を再取得できることです。文書名だけ合っていても版や適用範囲が違えば不合格とします。根拠が検索できない原因を、未収録、権限、識別子欠落、競合版へ分ければ、モデルの誤答という代替説明にまとめず担当工程へ返せます。[1]

StreamingQAは、2007年から2020年までの十四年分、約1,100万件の時刻付きニュースを使い、四半期ごとに新しい記事を読ませて質問応答を評価しました。検索空間へ新記事を追加すると迅速に適応できる一方、基盤言語モデルが古いままだと、更新したモデルより成績が低いと報告しています。[2]

つまり新文書を索引へ入れるだけで、既存の前提や語彙との衝突が消えるとは限りません。変更された製品名、組織、規則について、旧知識を問う回帰質問と新知識を問う質問を同時に流します。索引反映時間に加え、古い答えを棄却できるまでの時間を鮮度指標にします。

更新試験は、新しい答えを返せるかと、古い答えを棄却できるかを対にします。新文書を検索候補へ追加した状態、旧文書を除いた状態、基盤モデルや要約キャッシュを更新した状態を比べると、索引反映と内部・派生知識の残留を切り分けられます。旧答えが残る間は、更新完了ではなく移行中として表示し自動確定を止めます。[2]

FreshLLMsは、変わらない、ゆっくり変わる、速く変わる、前提が誤っているという四分類で600問のFreshQAを作り、50,000件超の人手判断を行いました。検索結果を組み込むFreshPromptは、当時のGPT-4単体に対して緩い正解基準で32.6%、厳しい事実性基準で49.0%の改善を報告しました。[3]

同じ研究は、取得根拠の数と順序が正しさに影響し、簡潔な回答指示が幻覚を減らすことも示しています。[3] ナレッジ運用では、新しい文書があるかだけでなく、競合根拠の優先順、誤前提を否定する規則、答えが変わる項目の次回確認日を持ちます。更新頻度は文書種別ではなく、答えの変化速度に合わせます。

競合根拠には、日付が新しい方を常に選ぶのではなく、正式性、適用範囲、有効期間、例外規定の優先規則を持たせます。誤った前提の質問へ無理に回答するか、前提を訂正して保留できるかを別の試験項目にします。外部検索で改善した結果を社内規程へ移すには、この優先規則を根拠表示まで再現できることが条件です。[3]

StreamingQAは時刻付きニュースを用いて知識更新への適応を比較しましたが、社内規程の将来施行や遡及訂正の運用を検証した研究ではありません。[2] ここから直接効果を外挿せず、時間によって答えが変わる知識では、質問時点と適用時点を分けて記録する設計課題として扱います。

以下は運用上の推奨です。質問へ『現在』『指定日現在』『予定施行後』のどれを求めるかを回答前に付け、根拠側には公開日だけでなく適用開始と終了を持たせます。質問に時点がない場合は最新と決め打ちせず、選択した時点を回答へ明示し、複数の有効解釈があれば確認へ戻します。

仮想例として、翌月に改定予定の手順を今月の案件へ尋ねた場合、最新文書を返すだけでは誤ります。現行回答と将来回答を別に作り、施行日をまたぐ代表質問を質問IDとともに予約実行します。施行前に将来版が混ざる場合と、施行後に現行版が残る場合を別の失敗として記録します。

全代表質問を毎回同じように回すだけでは、変更箇所に試験が届いたか分かりません。推奨する追加物は、文書の節または主張と、それを根拠にする質問、要約、派生ルールを結ぶ逆引き表です。差分が入った主張から、変更理由も添えて影響する回答と利用者区分を機械的に候補化します。

影響候補だけを試すと見落としが自己強化されるため、変更と無関係と見込んだ質問も負の対照として少数残します。対照まで答えが変わった場合は、索引順位、共有要約、広すぎる適用規則という別経路を疑います。変わるべき回答と変わらないべき回答を同時に置くことが、差分試験の要点です。

変更を閉じる条件は、対象質問が新しい主張へ切り替わったことだけではありません。影響外の対照が維持され、旧主張を参照する派生物が一覧から消え、時点を変えた問い合わせでは意図した版へ戻れることを確認します。依存先が不明な主張は、更新済みと表示せず調査中として扱います。

• ASSERTION：変更された主張を節、適用対象、発効時点と結び付けて識別する
• DEPENDENCY：その主張を使う質問、要約、派生ルール、利用者区分を逆引きする
• EXPECTED CHANGE：変わる回答、維持すべき回答、時点別回答を事前に分ける
• NEGATIVE CONTROL：影響外と見込む質問の変化から、想定外の波及を検出する

各文書に責任者、承認状態、適用範囲、有効開始・終了、機密区分を付け、公開、更新、失効、削除が索引へ伝わる流れを定義します。削除時は本文だけでなく、埋め込み、キャッシュ、要約、評価用コピーまで追跡します。閲覧者の権限で検索候補を絞り、回答後に隠す設計へ依存しません。

運用指標には、変更から検索可能になるまでの時間、失効文書が消えるまでの時間、根拠なし回答、競合根拠、権限違反、責任者不在を置きます。代表質問を文書の変更イベントと結び付け、更新のたびに自動実行します。モデル改善とは別の変更台帳を持つことで、回答低下が知識源、索引、生成のどこから来たかを切り分けられます。

変更イベントごとに、文書所有者が正本と有効期間を、基盤担当が索引・キャッシュ・派生物への反映を、品質担当が代表質問の回帰を所有します。失効文書が候補へ残る、権限外根拠が取得される、または責任者を特定できない場合は、該当領域を回答対象から外します。復旧は削除経路まで確認してから解除します。

• 正本管理：文書ID、版、所有者、適用範囲、有効期間、機密区分を必須にする
• 鮮度判定：新答えの反映と旧答えの棄却を対にして変更イベントごとに試す
• 削除追跡：本文、埋め込み、キャッシュ、要約、評価コピーまで同じ台帳で追う
• 停止条件：失効、競合、権限違反、責任者不在を検出した領域は回答から外す