そのベンチマーク得点は、未見能力を測っているか

評価例が訓練に入るテスト汚染は、モデルが将来の未知例へ一般化したのか、既知例を再現したのかを曖昧にします。Dengらは、公開コーパスとの検索重複と、誤答選択肢を埋めるTestset Slot Guessingを組み合わせて汚染を調べました。[1]

ベンチマーク名を知っていること自体は汚染の証拠ではありません。問題文が広く引用されている場合や、常識から補完できる場合もあります。逆に完全一致がなくても、解説、翻訳、派生問題から実質的な答えを学んでいる可能性があります。

意思決定では、得点に『清浄』『疑義あり』『不明』の証拠区分を付けます。未知であることを証明できないモデルを直ちに排除するのではなく、得点へ与える重みを下げ、別の評価で確認します。

高得点が汚染だけで生じたと決めつけることも避けます。実能力、汚染、問題形式への適応が同時に寄与し得るためです。汚染項目を除いた得点と、同じ能力を別形式で測る得点が保たれるかを見て、説明を比較します。

• 公開履歴：問題と解答がいつ、どこで公開されたかを残す
• 重複検査：完全一致、近似一致、解説・翻訳を分ける
• 挙動検査：補完や順序への異常な感度を調べる
• 証拠区分：清浄、疑義、不明を得点と一緒に報告する

オープンな訓練コーパスでは、評価問題、正解、解説との文字列重複を検索できます。Dengらの検索型検査は、モデル内部だけを見るより直接的な手掛かりを提供しますが、利用できるコーパスに限られます。[1] 非公開データ部分を調べたことにはなりません。

完全一致だけでなく、句読点除去、選択肢順変更、翻訳、問題と解答の別ページ掲載を考慮します。ただし類似度が高いだけで学習利用を断定しません。公開時点、クロール時点、訓練終了時点を結び、混入可能性を段階化します。

重複例を発見したら、ベンチマーク全体を一括で無効にせず、項目単位の汚染率と得点寄与を見ます。汚染項目を除いた順位、領域別順位、信頼区間を再計算し、経営判断が変わるかを確認します。

検索できるコーパスには欠落と版の問題があります。見つからないことをゼロ重複とせず、探索対象、索引日、正規化規則、類似度閾値を記録します。後から新しいコーパスが利用可能になれば、同じ手順で再検査できる状態にします。

GolchinとSurdeanuは、データセット名や分割名と冒頭部分を与え、後半を補完させるguided instructionを提案しました。限定した検証集合では高い検出精度を報告しています。[2] ただし補完一致は記憶の兆候であり、訓練データの完全な来歴証明ではありません。

同じ問題を一般的な指示とデータセットを示す指示で比較し、後者だけ不自然に続きを再現するかを見ます。モデルがウェブ検索や外部ツールを使える場合は切り離します。出力の近似一致をLLMだけに判定させず、文字列尺度と人確認を併用します。

補完できないことも未汚染の証明にはなりません。学習していても忘れている、拒否する、表現を変える可能性があります。検査は無罪証明ではなく、得点を疑うための非対称な証拠として扱います。

検査用プロンプト自体が答えを誘導しないかも確認します。データセット名、分割名、冒頭文の各要素を一つずつ外した対照を作り、どの手掛かりで一致が増えたかを分けます。結果を単一の汚染確率へ潰しません。

• 一般指示との比較：データセット名を示した時だけ再現するかを見る
• 外部機能遮断：検索・ツール由来の答えを訓練記憶と混同しない
• 複数尺度：完全一致、意味一致、人確認を分ける
• 非対称解釈：陽性は疑義、陰性は未汚染の証明にしない

Orenらは、交換可能なテスト例の並びに対するモデルの尤度を使い、ブラックボックスでも汚染を統計的に検定する方法を提示しました。[3] 訓練で見た特定順序に高い尤度を与えるという発想で、問題文の逐語再生とは異なる兆候を使います。

この方法にも前提があります。モデルから必要な確率情報を得られること、例が本来交換可能であること、公開順序に別の規則がないことです。[3] APIが確率を返さない場合や順序に意味がある評価へ、そのまま適用できません。

異なる検査が同じ項目を疑う場合は証拠が強まります。結果が食い違う場合は、どちらかを都合よく採用せず、訓練データ開示の不足、検査感度、派生例の存在を未解決として残します。

統計検定を多数の集合へ繰り返す場合は、偶然の陽性が増えます。検査対象と判定基準を先に固定し、探索的な発見と確認的な判定を分けます。有意か否かだけでなく、実務上どの得点が影響を受けるかを示します。

汚染検査を続けるだけでなく、混入しにくい評価を作ります。モデルの訓練終了後に作成した問題、アクセスを制限した問題、定期的に更新する問題を組み合わせます。公開後は将来の清浄性が下がるため、版と使用期間を明記します。

既存問題の単純な言い換えは、同じ解法や解説を学習したモデルに有利なままかもしれません。表面を変えるだけでなく、対象事例、必要根拠、誤答の構造を変えます。難易度が変わった場合は旧得点と直接比較しません。

非公開集合にも漏えいリスクがあります。アクセス者、配布先、評価サービスへの送信、ログ保存を管理します。秘密であることだけを品質とせず、専門家による妥当性、代表性、正解根拠も独立に確認します。

評価を外部APIへ送れば、その提供条件によっては将来の学習や保持へ入る懸念があります。契約と設定を確認し、必要なら隔離環境で実行します。使用後はどのモデルへどの版を渡したかを記録し、清浄期間を更新します。

調達表では、ベンチマーク得点の横に汚染証拠、検査不能部分、公開時点、再評価結果を置きます。疑義のある得点を平均へ混ぜると、精密な数字が不確かな証拠を隠します。清浄性の区分ごとに別集計します。

順位が汚染項目の除外で変わるなら、モデル選定を保留し、自社の非公開業務集合を優先します。順位が変わらなくても、未知問題への品質下限を満たすまでは採用を確定しません。ベンチマークは候補絞り込みであり、本番承認ではありません。

汚染は完全に消せない不確実性です。だからこそ、複数の検査、時間分離、非公開集合、本番回帰を重ねます。『混入なし』という断定より、どの証拠にどれだけ依存した得点かを追跡できることが重要です。

最終報告には、検査できなかった訓練範囲と、汚染を除いても残る性能根拠を併記します。販売資料の得点を転載するだけでなく、採用判断がどの評価集合に依存し、その集合がいつまで有効かを責任者が更新します。

モデル間比較では、汚染検査の可否そのものが異なることも示します。透明なモデルだけが疑義を多く発見される逆転を避けるため、検査不能を安全と数えず不確実性として扱います。開示の多さを不利にする採点をしません。

汚染信頼票には、モデル・ベンチマーク版・検査可能範囲・汚染仮説・再検査期限を記録し、疑義得点を選定用の総合点から隔離します。来歴確認または独立問題での再試験が事前登録した解除証拠を満たさない限り、隔離を解除しません。期限までに証拠が揃わないモデルは候補比較から外し、新しい試験版と解除判断を評価責任者とデータ来歴責任者が共同承認した後に戻します。