データ品質の欠陥は、どこで意思決定の誤りに変わるのか

WangとStrongは、データ利用者への調査から179の品質属性を抽出し、最終的に15の次元と、内在的・文脈的・表現・アクセスという4カテゴリーへ整理しました。[1] 値が事実と一致していても、古い、解釈しにくい、必要な粒度がない、権限上使えないなら、判断にとっての品質は低いという整理です。

したがって品質基準は、データセット単位の合否ではなく、意思決定単位で定めます。誰が、いつ、どの選択肢を比べるのかを先に書き、鮮度、完全性、一貫性、追跡可能性の必要水準を割り当てます。全項目を均等に磨くより、結論を反転させる変数から検査する方が、品質投資と判断価値を結びつけやすくなります。

重要データの優先順位は、欠損率の大きさではなく判断感度で決めます。鮮度、値、粒度を現実的な範囲で揺らし、推奨する選択肢や対象者が変わる項目を重要データ要素として登録します。品質次元は利用文脈で意味が変わるため、別の判断へ転用するときは同じ合格印を持ち込まず、感度試験をやり直します。[1]

Obermeyerらは、医療管理プログラムの対象者を選ぶアルゴリズムを監査しました。同じリスク点でも黒人患者の疾病負担が高く、リスク点の97パーセンタイルを超えて自動選定される集団について、疾病負担の人種差を取り除く反実仮想シミュレーションでは、黒人患者の比率が17.7%から46.5%へ増えると推計しました。[2] 費用データが正確でも、必要度の代理としては医療アクセスの格差を持ち込みます。

ここで直すべき場所は、モデルの精度だけではありません。事業目的、予測ラベル、入力データ、閾値、現場行動、最終成果を一本の因果鎖として描き、各矢印に反例を置きます。代理指標が目的を表す条件と、表さなくなる集団・期間・制度を明記すると、精度改善が不公平や目的逸脱を強める危険を早く見つけられます。

集団差が見つかっても、原因を入力値の誤りだけに固定しません。代理指標が目的を外した可能性、サービスへのアクセス差、閾値後の現場対応差を競合仮説として並べ、どこを変えると対象選定が動くかを比較します。[2] ラベルを修正しても差が残るなら、モデル改善ではなく目的変数や業務経路の再設計へ問題を戻します。

Sambasivanらは、インド、東・西アフリカ、米国のAI実務者53人を面接し、調査対象の92%でデータカスケードを確認しました。[3] 問題は単純な欠損ではなく、収集目的の曖昧さ、専門家との距離、評価されないデータ作業など、上流の妥協が下流で技術的・倫理的な問題へ増幅する過程です。

品質不良を担当者の注意不足として扱うと、報告をためらわせます。入力を止めた人、ラベル定義に異議を唱えた人、運用中に例外を記録した人を、納期を遅らせた人ではなく損失を防いだ人として評価する必要があります。品質会議では平均欠損率だけでなく、誰が修正できずに迂回したか、どの例外が沈黙したかも扱います。

医療費を必要度の代理にした一つの後ろ向き監査では、同じリスク点でも疾病負担に差があり、目標の置換で選定構成が変わる推計が示されました。[2] これは他領域の代理指標が同じ原因で破綻する証拠ではないため、費用や集団差を一般則にせず、不一致ケースを探す着想に限定します。

以下は診断上の推奨です。代理値が同じなのに目的状態が異なるケースと、目的状態が近いのに代理値が異なるケースを対にして抽出します。各対について、記録誤り、利用機会、制度上の価格、時点差、対象定義という説明候補を個別に並べ、追加資料で棄却できた候補だけを消します。対を選んだ規則も固定します。

不一致が集中する条件を見つけても、直ちに原因とは呼びません。条件を除いた再計算、目的に近い別測定での照合、判断者を伏せたケースレビューを行い、対象選定がどの変更で動くかを比べます。説明が競合したままなら、代理値による自動確定を止め、追加情報を求める区分にします。

欠陥を直した件数だけでは、判断への影響は分かりません。推奨するケース監査では、訂正前の入力、当時の変換、モデル出力、担当者判断を保存した状態で、訂正値だけを差し替えて同じ処理を再生します。結果が変わった案件を、実際に影響を受けた可能性のある範囲として切り出します。再生対象外も理由を残します。

再生後の差にも別の説明があります。現在のモデルや規則が当時と違えば、同じ処理条件を作れず、変化を訂正値だけへ帰属できません。そのため当時版を再現できる場合と、現行版でしか試せない場合を分けます。後者は影響確定ではなく要調査候補とし、過去判断の撤回を自動化しません。

影響案件では、再判定だけで閉じず、元の行動が実行済みか、取り消せるか、関係者へ訂正が届いたかを記録します。訂正によって結論が変わらなかった案件も非変化案件として残し、変化案件との条件差を記録します。負の対照を用いる場合は、選定規則と期待される不変性を事前に定めます。復旧完了はデータ修正日ではなく、対象判断の処置状態で判定します。

• DISCORDANT PAIR：代理値と目的状態の対応が崩れる二方向のケース対を保存する
• EXPLANATION SET：記録、利用機会、制度、時点、対象定義の候補を棄却結果付きで残す
• REPLAY：当時版と訂正値を使い、出力と判断が変わった案件だけを切り出す
• REMEDY STATUS：未実行、実行済み、取消可能、訂正通知済みを判断単位で追う

実務では、重要判断ごとに品質台帳を作ります。目的、対象母集団、指標定義、データ所有者、生成時点、既知の欠損、代理指標の仮定、影響を受けやすい集団、停止条件を同じ場所に置きます。変更時にはモデルだけでなく、定義と利用場面の組み合わせを再承認し、過去との比較が切れたことを利用者へ知らせます。

さらに、予測、担当者の判断、実行した行動、結果、後から判明した訂正を結びます。これにより、入力異常、代理指標の破綻、現場の不履行、環境変化を分けて学べます。品質指標の目標は欠陥をゼロに見せることではなく、重要な欠陥が意思決定へ届く前に発見され、届いた後も回収できる状態を保つことです。

品質台帳の所有者はデータ部門だけに置かず、定義を決める業務責任者と、訂正を実行するシステム責任者を併記します。監視するのは欠陥件数に加え、発見から判断停止まで、訂正が下流へ反映されるまで、誤判断を撤回できたかです。上流の妥協が連鎖するという知見を踏まえ、修正不能な迂回が残る案件は完了扱いにしません。[3]

• WHAT：判断を反転させる定義、鮮度、欠損、代理指標を優先する
• WHO：所有者、修正権限、異議申立て先をデータ項目ごとに決める
• WHEN：収集時、モデル更新時、制度変更時、結果判明時に再検査する
• LEARN：予測から結果までを結び、誤りが増幅した地点を記録する
• 業務責任者：目的と代理指標が一致する条件を明記する
• データ所有者：判断を反転させる品質欠陥を優先修正する
• 運用責任者：停止、訂正、影響先への反映までを閉じる