コードを変えなくても、本番モデルは古くなる

Rabanserらは、高次元データを低次元表現へ変換し、参照分布と本番分布を二標本検定で比べる方法を広く評価しました。検討した条件では事前学習済み分類器の表現が有力で、ドメイン分類器は変化した例の特徴づけにも使えました。[1] ただし、この検定が答えるのは『データが違うか』であって、『判断が悪くなったか』ではありません。

Moreno-Torresらの整理では、入力の分布が変わっても入力から結果への関係が保たれる共変量シフト、結果の比率が変わる事前確率シフト、入力と結果の関係自体が変わる概念シフトを分けます。[4] 入力だけの監視では、入力分布が似たまま関係が変わる劣化を捕まえられません。逆に入力が大きく変わっても、性能と損失が保たれる場合は緊急対応の対象ではありません。

そこで最初の画面を『入力差の有無』と『業務損失の増加』の二軸で読みます。両方が増えたら影響区間を特定し、入力差だけなら害のない季節性を疑い、損失だけなら概念変化やラベル・意思決定のずれを調べます。[1] [4] 分布距離は通知条件ではなく、原因を絞るための調査仮説として扱います。

• 入力差なし／損失増：概念変化、ラベル定義、閾値、現場行動の変化を優先調査する
• 入力差あり／損失なし：季節性や顧客構成の変化を記録し、通知を抑制する
• 入力差あり／損失増：開始時点、影響集団、上流変更を局所化する
• 入力差なし／損失なし：基準状態として比較期間と標本数を更新する

KohらのWILDSは、病院、カメラ設置場所、地域、時点などが変わる10の実世界データセットを集め、標準的な学習法がすべてのデータセットで分布内より分布外性能を落とすと報告しました。[2] 一方で、どの集団・期間・取得経路が変わったかはデータセットごとに異なります。『全体ドリフト』という一つの値では、影響が集中する区間も、変化しなかった区間も見えません。

モデル以前の故障も切り分けます。Breckらの本番準備ルーブリックは、モデル、データ、基盤、監視にまたがる28のテストを提示しました。[3] 上流スキーマの変更、特徴生成の不一致、学習と配信のずれ、静かな欠損、時刻や単位の誤りは、統計的ドリフトとは別の復旧経路を持ちます。入力差を検知したら、まず観測系そのものが壊れていないかを確認します。

監視契約は、配管、入力、予測、意思決定、結果、人間行動の順でつなぎます。各層に指標、比較基準、更新周期、所有者、調査期限を置き、前の層の変化が次の層へ届くまでの時間差も記録します。全体平均に加え、取得元、地域、機器、顧客層、時期、業務経路の重要区間を事前指定し、標本数と不確実性を併記します。

• PIPELINE：件数、鮮度、型、範囲、欠損、重複、特徴生成の一致を確認する
• INPUT：単変量と多変量の変化を、重要集団と取得経路ごとに追う
• PREDICTION：スコア分布、不確実性、拒否率、校正の変化を追う
• DECISION：閾値通過、配分、上書き、人手滞留、例外処理を追う
• OUTCOME：成熟済み結果の性能、集団別誤差、業務損失を追う
• HUMAN：上書き理由、苦情、回避行動、モデルへの依存変化を追う

多くの業務では、正解ラベルが予測と同時に届きません。Csabaらは、現在の未ラベルデータと遅れて届く過去データのラベルを分けたオンライン継続学習の枠組みで、遅延が大きいほど性能が低下し、計算量を増やすだけでは解消しない条件を示しました。[6] これは全業務の監視法を決める研究ではありませんが、『直近データだけを見れば最新性能が分かる』という前提を崩します。

NIST AI 800-4も、本番の正解データは遅延し、高コストで、そもそも取得できない場合があり、基準値・閾値・長期追跡が未解決課題だと整理しています。[8] 返済、解約、再入院、不正確定のような遅延結果を、予測時刻の週次集計へ混ぜると、まだ確定していない案件が正常に見えます。イベント発生時刻と結果確定時刻を分け、成熟したコホート同士を比較します。

ダッシュボードには二つの時計を置きます。即時時計では入力、予測、上書き、処理時間、暫定代理指標を追い、確定時計ではラベル到着率、成熟済み性能、校正、業務損失を追います。代理指標は確定値で後日照合し、代理と真の結果のずれ自体を監視対象にします。ラベルが来ない区間は欠測として隠さず、到着率と理由を表示します。

• 即時時計：入力、予測、行動、処理時間、代理成果を障害の早期発見に使う
• 確定時計：成熟済みコホートだけで性能、校正、集団別誤差、損失を測る
• 到着管理：ラベル到着率、確定期限、未確定理由、後日更新を記録する
• 代理検証：代理値と確定値の差を定期照合し、代理の利用停止条件を決める

固定された一回の二標本検定は、逐次到着し、戻り、緩やかに変わる本番データを前提にしていません。Jangらはオンライン識別器を用いる逐次共変量シフト検知を提案し、所定の偽陽性率境界を保つ条件と、複数の画像・コードデータでの検知を示しました。[5] ただし対象は、入力分布が変わっても条件付きの結果関係が保たれる共変量シフトであり、性能低下や損失を直接測るものではありません。

比較基準は一つに固定しません。学習時、直近の安定期、前年同週、制度変更前を分け、既知の季節性を注記します。p値だけでなく効果量、標本数、信頼区間、重要区間の方向を表示し、多数の特徴を反復検定する時は誤検知の増加を管理します。低トラフィックでは期間を延ばし、高トラフィックでは小さな差が有意になりやすいことをレビューに含めます。

通知は、差が一定期間持続し、重要区間へ広がり、性能・判断・損失のいずれかが許容範囲を消費した時に初めて発火させます。検知器は調査キューへ送り、業務影響を確認できない段階ではページ通知にしません。解除条件も同時に定義し、正常化後も鳴り続けるアラートや、同じ原因を複数指標が重複通知する状態を抑えます。

• BASELINE：学習時、直近安定期、季節基準、変更前のどれと比べるかを固定する
• EVIDENCE：差の大きさ、標本数、不確実性、重要区間を同時に表示する
• PERSISTENCE：単発値ではなく、持続時間と複数窓で一過性ノイズを分ける
• IMPACT：統計差と性能・判断・損失の閾値を別々に判定する

予測が意思決定へ使われると、その判断が次のデータを変えます。Perdomoらは、予測が将来の結果分布へ影響するperformative predictionを定式化し、再学習が単純に元の問題へ戻すとは限らないことを示しました。[7] 与信、推薦、審査、配分では、モデルが対象者の行動や観測される母集団を変え、見かけ上の性能が改善しても、除外された人の結果が観測されなくなる場合があります。

NISTは本番監視を、機能、運用、人間要因、セキュリティ、コンプライアンス、大規模影響の六つに整理し、人とAIのフィードバックループは研究不足だと指摘しています。[8] モデル指標だけを良好に保っても、上書きの増加、待ち行列の滞留、特定集団への負担、苦情、目的外利用が増えれば、システムとしては劣化しています。

そのため結果層には、識別性能だけでなく校正、閾値別コスト、重要集団別誤差、業務損失を置きます。意思決定層には上書き率と理由、処理時間、対象除外、配分変化、人手確認の滞留を置きます。変化をモデル版だけに帰属せず、施策、制度、価格、担当体制、競合行動を変更履歴へ重ね、代替説明を消してから対応を選びます。

Google SREのSLOアラート設計は、単一閾値ではなく、許容エラーバジェットを消費する速さと複数の時間窓で通知の重大度を分けます。[9] これはML監視の効果を検証した研究ではありませんが、統計距離の大きさだけで緊急度を決めず、許容損失がどれだけ速く失われるかでページ通知と調査チケットを分ける実務設計に転用できます。

重大度は自社の損失許容度から定義します。安全・法令・不可逆な損失や配管破損は即時縮退または停止、性能バジェットの急速な消費は対象制限と人手確認、小さいが持続する変化は期限付き調査にします。統計的に大きくても影響がない変化は記録へ下げ、影響が大きいのに検知距離が小さい変化は結果側から昇格させます。

通知本文には、モデルと版、検知開始、比較基準、対象区間、標本数、差の大きさ、性能・判断・損失の推定、関連変更、担当者、確認期限、縮退方法を含めます。担当者が別画面を巡回しないと次の行動を決められない通知は未完成です。解除条件、重複抑制、再通知間隔もランブックに置き、誤警報と見逃しを事後レビューします。

• P1 / STOP：安全、法令、不可逆損失、配管破損では即時縮退または停止する
• P2 / CONTAIN：性能・損失許容度の急速な消費では対象制限と人手確認を増やす
• P3 / INVESTIGATE：小さいが持続する変化は期限付き調査として原因を絞る
• LOG / LEARN：影響のない差も記録し、季節性と誤警報抑制へ反映する

再学習は原因が分からないまま実行すると、汚れたデータや誤ったラベルを新しいモデルへ固定します。まず観測系の故障、変更履歴、影響区間、ラベル成熟度を確認し、上流修正、閾値変更、対象制限、人手確認、旧版復帰、機能停止の順で可逆な手段を選びます。Breckらのルーブリックが示すように、旧版へ戻せること、学習と配信を再現できること、入力と出力を追跡できることは監視の前提です。[3]

ランブックは、検知、確認、封じ込め、原因診断、復旧、再発防止の段階に分けます。各段階で開始条件、責任者、必要データ、最大待機時間、次の判断を決めます。復旧は指標が元へ戻っただけで終えず、重要区間の成果が成熟し、代理指標と確定値が再び整合し、同じ変更を再適用しても再発しないことを確認します。

導入も段階化します。初期段階では監視対象、基準期間、重要集団、所有者、損失許容度を定義します。次に通知しないsilent modeで誤警報、ラベル到着、調査時間を測り、最後に重大度別通知と縮退訓練を有効化します。成熟度はアラート数ではなく、検知から確認・封じ込め・復旧までの時間、見逃した損失、誤警報による作業量、同じ故障の再発率で測ります。

• OBSERVE：観測系、比較基準、ラベル成熟度、変更履歴が正しいか確認する
• CONTAIN：対象制限、人手確認、閾値変更、旧版復帰、停止から可逆策を選ぶ
• DIAGNOSE：開始点、影響区間、原因候補、代替説明、再学習データを検証する
• RECOVER：成果の成熟と再発試験まで確認し、基準とランブックを更新する