AIが忘れたと、どう証明するのか

機械アンラーニングは、指定データの影響を学習済みモデルから除去することを目指します。処理が正常終了したことは、対象の影響が消えたことを示しません。入力受付、処理実行、検証合格を別の状態として記録します。

TOFUは、架空の著者プロフィールと質問応答を用い、LLMの忘却を評価する課題を提示しました。既存の複数手法が、忘却と保持性能の両立で単純な再学習基準へ届かないことを示しています。[1]

特定の名前への回答を拒否させるだけなら、プロンプト上の抑制かもしれません。別名、言い換え、関連質問、途中補完、長文中の参照で再現するかを試し、表面挙動と内部影響を分けます。

削除対象に関係する情報が公開知識でもある場合、何を忘れるべきかが曖昧になります。個別記録の記憶、一般知識、後から提供された根拠を区分し、削除対象と許容回答を先に定義します。

『忘れた』という表現は保証水準を伴います。対象出力が減った、既知攻撃で漏れない、再学習モデルと区別しにくい、という異なる水準を一つの完了表示へまとめません。

• 受付：対象データと派生物を特定する
• 処理：手法、モデル版、実行条件を記録する
• 検証：忘却・保持・漏えいを別々に試す
• 表示：達成した保証水準と残る不確実性を示す

理想的な比較対象は、削除対象を最初から含めず同じ条件で再学習したモデルです。Bourtouleらは、訓練を分割して再学習範囲を抑えるSISAを提案し、削除可能性を学習設計へ組み込みました。[3]

大規模LLMでは完全な再学習が高価でも、基準としての意味は残ります。小型モデル、限定データ、代表タスクで再学習差を測り、近似手法がどこまで追随するかを確認します。

再学習モデルとの出力一致だけでは不十分です。二つのモデルが同じ誤答をする場合もあります。対象データへの依存、保持集合の性能、攻撃者の識別力を複数指標で比較します。

学習の乱数やデータ順序でモデル差が生じます。一つの再学習モデルを絶対的な真実にせず、自然な再学習変動の範囲と、アンラーニング後の差を区別します。

再学習できないことを理由に検証を省略しません。その場合は保証を限定し、アクセス遮断、出力監視、利用停止、将来モデルからの除外を補償統制として記録します。

対象情報を答えなくする最も簡単な方法は、モデル全体を大きく壊すことです。しかし、それは有用なアンラーニングではありません。削除対象への性能低下と、保持すべき一般能力の維持を同じ変更で測ります。

MUSEは、忘却だけでなくモデル効用、プライバシー漏えい、拡張性、持続性など複数の観点でLLMアンラーニングを評価しました。検討した手法に、全基準を安定して満たす難しさを報告しています。[2]

保持集合は削除対象と無関係な一般問題だけでなく、近接する正当な知識を含めます。ある顧客記録を消すために、同じ業界の一般規則まで失うような過剰忘却を検出します。

言い換えや関連概念への一般化も測ります。対象文を逐語的に忘れても、同じ事実を別の関係から復元できる場合があります。逆に関連概念を広く消しすぎる場合もあります。

合格条件は忘却得点の最大化ではなく、対象情報の再現・漏えいの上限と、保持効用の下限を同時に守ることです。一方の未達を他方の平均で相殺しません。

• 対象忘却：指定情報とその言い換えを再現しない
• 近接保持：周辺の正当な一般知識を壊さない
• 一般能力：推論、言語、安全などの回帰を監視する
• 過剰忘却：広すぎる抑制や拒否の増加を検出する

通常の質問に答えないモデルでも、会員推論、プロンプト補完、反復質問、確率情報から対象データの影響が推測できる場合があります。出力非表示とプライバシー除去を同一視しません。

攻撃評価は既知手法だけであり、未知攻撃への安全証明ではありません。攻撃者が持つ補助情報、APIアクセス、試行回数を明示し、どの脅威モデルで合格したかを記録します。

削除前後の漏えい差を見るだけでなく、対象を含めず再学習したモデルとの差を見ます。漏えいが減っても再学習基準より高ければ、残存リスクがあります。

モデルの出力ログやキャッシュ、検索索引、評価集合にも対象データが残り得ます。パラメータだけを変更して周辺システムを放置すると、利用者から見た削除は完了しません。

検証データ自体に対象情報を再配布しないようにします。アクセス制御された環境で評価し、結果には必要最小限の集計だけを残します。削除検証が新たな漏えい源にならないようにします。

実運用では削除要求が一度で終わりません。新しい要求が続くたびに近似処理を重ねると、保持能力の劣化や以前の忘却の再出現が起きる可能性があります。単発の成功を連続運用へ外挿しません。

MUSEは連続的な削除を含む評価で、既存手法の持続性に課題を示しました。[2] 削除順序、件数、対象の近さを変え、以前の対象と保持集合を毎回再試験します。

削除後に追加学習やモデル編集を行う場合、忘れた情報が復元されないかを確認します。アンラーニングの完了は永久状態ではなく、その後の変更に依存します。

累積劣化が閾値を超えたら、近似削除を続けず再学習またはモデル置換へ切り替えます。閾値は一般能力、漏えい、検証費用、削除期限を含めて決めます。

削除要求の順番で結果が変わるなら、公平な処理手順も必要です。技術的に容易な要求だけを先に完了扱いせず、期限と保証水準を申請者へ明示します。

元データだけを指定しても、前処理済みコピー、埋め込み、合成例、微調整データ、評価例へ派生している可能性があります。削除対象を一つのファイルパスで定義しません。

収集時の識別子、変換履歴、学習ジョブ、モデル版を結ぶ系譜がなければ、どのモデルが影響を受けたか確認できません。アンラーニング能力はデータ管理能力に依存します。

合成データへ対象情報が混ざった場合、文字列一致だけで追えないことがあります。生成元の記録とサンプリング履歴を残し、削除対象との意味的な近接を人が確認します。

外部モデル提供者へ学習を委託した場合、削除手法、検証証拠、下流モデル、バックアップの扱いを契約で確認します。API上の削除ボタンだけを完全保証と解釈しません。

派生物を追えない場合、その不確実性を申請者と意思決定者へ伝えます。完全削除と表現せず、アクセス停止、モデル利用停止、次回学習からの除外を分けて報告します。

低影響な個人化の解除では、出力抑制と検索索引の削除で目的を満たす場合があります。高機密データや強い削除義務では、近似アンラーニングだけでなく再学習やモデル廃棄が必要かもしれません。

選択票には、要求目的、対象範囲、期限、許容漏えい、保持能力、再学習費用を置きます。最も新しい手法を選ぶのではなく、必要保証を満たす最小の安全な手段を選びます。

完了報告には、実施処理、検証集合、攻撃条件、再学習との差、残る派生物、再検証時点を記載します。単一の成功スクリーンショットを証拠にしません。

法的な削除義務を技術評価だけで判断しません。法務・プライバシー責任者が要求を解釈し、技術側は達成した保証と未達部分を正確に説明します。

アンラーニングは『忘れたふり』を作る機能ではありません。対象を含まなかった世界へどこまで近づいたかを、保持能力と漏えいを含む複数の反証可能な試験で示す運用です。

削除要求ID・対象・実行モデル版は検証票の識別欄に置き、漏えい試験の上限と保持能力の下限を合格欄に分けます。漏えい上限を超えるか保持能力が下限を割った処理は「検証済み」にせず、対象データを含まないことを確認済みの版へ切り替えます。その版がなければ対象を除いた再学習が完了するまで提供を保留し、独立再試験をプライバシー責任者とモデルリスク責任者が承認した場合だけ完了扱いへ戻します。