モデル更新では、変更前に再証明する範囲を決める

AIシステムの挙動は、基盤モデルだけでなく、システムプロンプト、検索データ、埋め込み、ツール、閾値、後処理、権限、人の確認手順にも依存します。ベンダーが同じ製品名を維持しても、これらの一部が変われば、精度、拒否傾向、説明、情報漏えい、レイテンシー、コストが変わり得ます。

変更票には、変更した構成要素、変更理由、対象ユースケース、想定便益、影響を受け得る利用者、既知の制約、旧版との差、戻せる最終時点を記録します。『モデルを最新版へ更新』という一行では、障害時に何を戻すかも、どの試験を再実行するかも決められません。

FDAの2025年最終ガイダンスはAI対応医療機器のPCCPを、Description of Modifications、Modification Protocol、Impact Assessmentという三つの中核要素で構成します。変更内容、開発・検証・実装方法、便益・リスクへの影響を事前に結び、承認された範囲内で反復改善する考え方です。[1]

この構造を一般業務へ移すなら、許容するモデル版やデータ追加の範囲、再試験する代表・境界・失敗ケース、比較する基準値、承認者、展開率、監視期間を変更前に定義します。予定範囲を外れる用途変更や安全機能の削除は、軽微変更として流さず、新規導入に近い審査へ戻します。[1]

予定変更の表には、変更できる部品だけでなく、用途、権限、人的確認という越えてはいけない境界を置きます。境界内でも、固定回帰セット、最近の失敗例、重要利用者への影響がすべて承認条件を満たした時だけ段階展開へ進めます。医療機器の枠組みを法的義務として転用せず、変更・検証・影響を事前接続する設計原則として使います。[1]

NIST AI RMF 1.0はGOVERN、MAP、MEASURE、MANAGEの4機能を継続的に回し、運用中の性能と新たなリスクを追跡する考え方を示します。更新評価では、平均品質だけでなく、重要シナリオ、少数集団、拒否・誤答、セキュリティ、プライバシー、人的確認、コストの差を同じ比較表へ置きます。[2]

試験セットは固定した回帰用と、最近の失敗・苦情から追加する学習用に分けます。固定セットだけでは新しい利用環境を捉えられず、毎回セットを変えると旧版との比較ができません。モデル出力は確率的なので、単発の例ではなく反復試験と分布を確認し、悪化が許容範囲内かを用途別に判定します。[2]

新版の成績差には、モデル変更の効果だけでなく、同時期の入力分布、検索文書、利用者構成の変化が混ざります。旧版と新版へ同じ入力を流す比較と、実運用の時系列監視を分け、差の発生箇所を切り分けます。[2] 同条件比較で悪化しなくても実運用だけで崩れる場合は、モデル承認ではなく利用環境の再評価へ戻します。

FDAの予定変更管理は、変更内容、検証方法、影響評価を事前に結ぶ考え方を示します。[1] ここではそれを着想として、複数部品を同時に変えたときの承認対象を特定する相互作用表を提案します。一般業務へ法的義務として転用せず、基準構成、単独変更、組合せ変更を分け、比較順序も固定します。

相互作用表では、基盤モデルだけを変えた構成、検索だけを変えた構成、両方を変えた構成を同じ入力へ通し、結果の向きが一致するかを見ます。単独では合格でも組合せで失敗する場合は、どちらか一方の品質へ帰属せず、組合せ固有の承認対象として登録します。組合せを解いた復元試験も行います。

すべての組合せを試すのではなく、重要用途、権限が増える変更、過去に失敗した組合せを優先します。比較できない組合せは平均値で補わず、同時展開をやめる、変更を分割する、対象用途を限定するという判断へ戻します。承認票には、試した組合せと試していない組合せを区別して残します。

変更承認は永久な属性ではなく、特定の構成、試験標本、利用権限、監視可能性を前提にした判断です。各承認理由に、成立に必要な前提、前提を確認した証拠、確認日、失効条件、再審査の所有者を対応させます。前提を確認できなくなった時点で、合格印だけを残しません。前提同士の依存も示します。

失効条件は、承認した部品の変更だけに限定しません。評価標本を再現できない、依存する外部機能の仕様を確認できない、必要なログが取得できない、退避手段を実演できない場合も、承認根拠の一部が消えた状態として扱います。原因を運用中の分布変化と決めず、証拠の有効性を再確認します。

再審査では、失効した前提に関係する証拠だけを更新し、無関係な合格結果を取り直したふりをしません。一方、影響範囲を特定できなければ、承認単位全体を保留します。どの前提が戻れば再承認できるかを先に示し、担当者の判断で古い承認へ自動復帰しないようにします。復帰判断の版も保存します。

• BASELINE：基準構成と単独変更・組合せ変更を識別する
• INTERACTION：組合せだけで生じた失敗と未試験領域を記す
• ASSUMPTION：承認理由ごとに必要前提と確認証拠を結ぶ
• EXPIRY：失効条件、影響範囲、再審査所有者を確定する

EU AI Actは対象となる高リスクAIについて、第43条で重大な変更時の新たな適合性評価を扱い、第72条で寿命全体にわたる市場投入後監視を求めています。初期評価で予見・評価された継続学習の変更と、適合性や意図した目的へ影響する未予定の変更を区別する考え方が重要です。[3]

実務では、少数利用者への段階展開、旧新版の並行比較、重要指標の即時監視、停止閾値、旧版・手作業への退避を用意します。再開や全量展開は、利用量ではなく、品質・安全・苦情・コストの観測期間を満たしたかで決めます。変更票、試験証拠、承認、監視結果、ロールバック判断を同じ識別子で追跡します。[2] [3]

ロールバック判定者と実行者を分け、品質・安全が用途別の事前最低条件を下回る、または苦情・費用が事前上限を超える場合は、全量展開を止めます。旧版へ戻せない外部サービスでは、機能停止または手作業への退避を同じ回復策として試験します。戻した後も入力とログを保存し、再開条件を満たすまで自動で新版へ進まない構成にします。[2] [3]

• 変更前：対象構成、許容範囲、基準版、試験計画を固定する
• 承認前：性能、安全、集団差、コスト、運用負荷を比較する
• 展開中：段階投入し、停止閾値と責任者を常時見える状態にする
• 展開後：苦情と失敗を試験資産へ戻し、次の変更計画へ反映する
• 変更責任者：予定範囲と再審査へ戻す境界を宣言する
• 評価責任者：同条件比較と実運用変化を分離して報告する
• 運用責任者：旧版・停止・手作業への退避を実演する