AI文章検出器は、不利益判断の単独証拠にできない

第一の問いは、文章に特定モデルらしい統計特徴があるかです。第二は、どの生成系がいつ作ったかという帰属です。第三は、AI利用が許可された範囲を越えたか、本人の知的寄与が不足したかという規程判断です。検出器が答えられる可能性があるのは主に第一であり、三つを一つのスコアへ潰してはいけません。

人がAIで推敲した文章、AI案を人が全面改稿した文章、翻訳支援、定型句の多い人間文は、生成・編集・著者性が混ざります。『AIらしい』と『AIだけで作った』は同義ではありません。品質、剽窃、事実誤りも別に調べる必要があります。

この記事はC2PAなど画像・動画を含む来歴管理全般を扱いません。対象は主にテキストの事後検出と生成時透かしであり、それを採点、処分、公開判断へどう接続するかです。法的・懲戒上の最終判定は、個別規程と適正手続に委ねます。

SadasivanらはTMLR 2025で、ニューラル検出、ゼロショット検出、検索型検出、透かしを含む複数方式を再帰的な言い換えでストレス試験しました。約300トークンの文章で、意味品質を大きく落とさず検出率を下げられる条件と、人間文をAI文として見せるなりすまし可能性を示しました。[2]

この結果は、すべての検出器が常に無効という意味ではありません。特定モデル、特定時点、未改変文章では識別できる方式があります。問題は、導入時の閉じた評価で高い成績が出ても、利用者が言い換え、翻訳、要約を行い、未知モデルが増える本番では分布が変わることです。[2]

したがって、検出器を評価するなら、既知モデルの未改変文章だけでなく、未知モデル、人手編集、複数回の言い換え、短文、専門文、非母語文を含めます。真陽性率だけを上げるのではなく、同じ閾値で誰を誤って疑うかを測ります。

• UNKNOWN MODEL：学習時に見ていない生成器と版を外部試験へ入れる
• TRANSFORM：翻訳、要約、推敲、複数回の言い換え後を試す
• SHORT TEXT：文章長別に不確実性を示し、短文を確定判定しない

KirchenbauerらはICML 2023で、次トークン候補の一部を秘密鍵に基づいて優遇し、文章へ統計的信号を埋める透かし方式を示しました。モデルのAPIや重みへアクセスせず、対応する検定で検出できる設計です。[1] これは生成器が協力し、生成時の確率分布を制御できる条件で成立します。

透かしは、文体だけを見て由来を推測する検出器より、特定提供者の出力を帰属しやすくします。一方、十分な文章長、秘密鍵の管理、デコード設定、改変耐性が必要です。透かしのない提供者、人が書いた後にAIで校正した文章、外部の別モデルは、その透かしで判定できません。[1]

透かしが検出されたことも、不正の証明ではありません。許可された補助、組織が用意したテンプレート、アクセシビリティ支援かもしれません。逆に透かしがないことも人間作成の証明ではありません。適用可能な母集団を明示し、非検出を免罪符にしないことが重要です。

Liangらは2023年、七つの公開検出器をTOEFL作文と米国の英語母語話者作文で比較し、非母語話者の人間文をAI生成と誤判定する割合が高いと報告しました。非母語話者作文の平均誤判定は61.3%、母語話者作文は5.1%でした。[3] 文体の予測しやすさをAIらしさとみなす方式が、語彙の幅と混同した可能性があります。

一方、Jiangらは2024年、大規模なGRE作文を適切に標本化し、言語特徴とperplexityを使う専用検出器を構築したところ、非母語話者に不利な偏りを確認しませんでした。[4] これは先行結果を無効にするのではなく、学習データ、対象試験、検出器、母集団が違えば公平性と精度が変わることを示します。

二研究を合わせると、『AI検出は必ず非母語話者を差別する』とも『十分高精度なら公平性は解決済み』とも言えません。使用する版と現場の文章母集団で、言語背景、支援利用、課題、文章長別の偽陽性を継続測定します。[3][4]

• FALSE POSITIVE：人間文を疑う率を言語背景・文章長・課題別に測る
• FALSE NEGATIVE：言い換えたAI文を見逃す率を同じ閾値で測る
• ABSTAIN：不確実域を設け、二択を強制しない

AUCや平均精度は、処分に必要な証拠価値を直接示しません。AI利用が少ない母集団では、偽陽性が少なくても、陽性判定の多くが人間文になる場合があります。運用では想定有病率に相当するAI利用率を置き、陽性適中率と誤告発件数を算出します。

閾値は用途で変わります。低影響な編集支援の案内なら再現率を高めてもよい一方、失格・解雇・公開停止では偽陽性の損失が大きく、検出器単独を入口以上に使えません。集団間の平均差だけでなく、同じ処分閾値で生じる救済可能性を確認します。

性能は時間とともに劣化します。モデル版、検出器版、言語、課題、文章長、改変方法を記録し、一定期間ごとに盲検標本を更新します。ベンダーが内部モデルを変更した場合、過去の合格を引き継がず再評価します。

調査では、検出スコアの前に課題、許可範囲、提出時刻、版履歴、引用、参考資料、作業ログを保存します。次に、検出器が反応した文章区間と不確実性を示し、本人へ使用ツール、編集過程、根拠を説明する機会を設けます。説明しないことを自動的な自白と扱いません。

同じ文章を複数の相関した検出器へ通しても、独立証拠が増えるとは限りません。同じ訓練データやperplexity特徴を使う検出器は同じ誤りを繰り返します。透かし、編集履歴、出典照合、口頭での再現など、異なる失敗を持つ証拠を組み合わせます。

再審査者は最初のスコアと処分案を伏せた状態で、原文と証拠束を確認できるようにします。検出器の版と閾値を後から変えた場合は、同型案件を再評価し、誤判定が見つかれば当該者だけでなく同じ条件の案件を訂正します。

• CORROBORATE：異なる失敗を持つ二つ以上の証拠を求める
• DISCLOSE：検出器版、閾値、不確実域、既知の限界を本人へ示す
• APPEAL：人による独立再審査と同型案件の訂正経路を用意する

低影響な用途では、検出器を自己点検や追加確認の案内に使えます。中影響では、版履歴や出典確認を始めるトリアージに限定します。高影響では、検出器単独の処分を禁止し、異議申立てが終わるまで不利益を確定しません。

透かしは、提供者が正式に実装し、鍵と版を管理し、対象モデルが明確な場合に帰属証拠として使います。鍵漏えい、文章改変、短文、非対応モデルでは保留します。透かしの不存在を人間作成の証明には使いません。

停止条件は、外部試験での偽陽性増加、言語群差、未知モデル性能の低下、異議での取消増加、ベンダー版の不明変更です。再開は性能改善だけでなく、過去案件の再評価、本人通知、訂正の完了を条件にします。検出器の目的は犯人探しではなく、証拠不足のまま人を傷つけないことです。

• 利用：低影響な追加確認と来歴不足の発見に限定する
• 保留：短文、未知モデル、編集混合、不確実域では結論を出さない
• 禁止：検出スコアだけで失格・懲戒・採用除外・公開停止を確定しない
• 再開：外部再検証と過去の誤判定訂正を終えてから閾値を戻す