多言語AIの平均点は、言語間の不公平を隠す

Global MMLUは、広い言語への専門家・コミュニティ翻訳と文化感応的な項目の分析を通じ、文化に依存する部分ではモデル順位や評価が変わり得ることを示しました。[1] 単語を正しく訳しても、問いの前提が地域に適合するとは限りません。

翻訳等価性は重要ですが、それだけでは各言語話者が実際に尋ねる問いを表しません。制度、暦、敬語、固有名、法令、教育内容、表記揺れを含む現地作成問題を追加します。英語版を正解の唯一の原型にしません。

機械翻訳を使う場合は、原文と訳文で難易度が変わっていないかを母語話者が確認します。訳文だけ曖昧になる、正解選択肢だけ不自然になる、必要知識が地域で異なるという欠陥を分類します。

文化依存項目を排除して中立な得点だけを出す方法も、実運用の問題を隠します。文化に依存しない能力と、地域文脈を扱う能力を別の得点として報告します。

• 翻訳等価：原文と訳文の意味・難度を照合する
• 現地作成：母語話者が実利用に即した問題を作る
• 文化区分：依存項目と非依存項目を分けて報告する
• 正解根拠：地域制度と参照時点を明示する

Huらは、複数のモデル系列と多言語データセットを比較し、総合性能が高いモデルほど言語間の公平性も高いとは限らないことを示しました。[3] 全言語の平均が上がっても、最も弱い言語との差が広がる可能性があります。

平均点は利用量の多い言語に重みを置く意思決定には使えますが、提供を約束した各言語の最低品質を保証しません。平均、言語別、最悪言語、言語間差を並べ、目的に応じた重みを明示します。

話者数が少ない言語で標本が小さい場合、差が検出されないことを等価とみなしません。信頼区間と未検証領域を示し、重大機能の自動提供を保留します。標本拡充の優先順位を影響度で決めます。

高資源言語の改善が低資源言語の退行と同時に起きた場合、全体平均で承認しません。モデル更新の差分を言語別に見て、下限を割る言語だけ旧版または人支援へ戻せる構造を用意します。

PARIKSHAは、インドの複数言語と文化を対象に、人とLLM評価者の一致を大規模に調べ、直接評価の一致が言語や条件で変わることを報告しました。[2] 生成モデルだけでなく、採点者にも多言語差があります。

安価だからという理由で、英語の強いLLMに全言語の品質を採点させると、自然さ、敬意、地域知識を誤る可能性があります。母語話者の評価を基準集合にし、LLM評価者の言語別一致と偏りを測ります。

母語話者も一枚岩ではありません。地域、世代、専門性で表現評価が異なるため、評価者属性と合意を記録します。合意が低い項目はモデルの優劣ではなく、基準の曖昧さとして見直します。

評価モデルと生成モデルが同じ系列なら自己選好も疑います。生成元を隠し、順序を反転し、異なる系列と人評価を組み合わせます。多言語評価を一つの自動審査員へ閉じません。

• 母語話者基準：言語別に人の基準集合を作る
• 評価者一致：人同士と人・LLMを別々に測る
• 地域差：同じ言語内の方言・制度差を記録する
• 不一致送付：自動確定せず再審査へ回す

すべての誤りを同じ一件に数えると、軽い文体不自然さと、支払い・安全・医療案内の誤りが同じ重みになります。言語別に、事実誤り、指示誤解、拒否不足、過剰拒否、侮蔑表現、引用誤りを分類します。

安全フィルターも言語で差が出る可能性があります。英語では拒否する危険依頼が別言語で通る、逆に無害な地域表現を拒否する例を試します。翻訳した危険文だけでなく、現地で実際に使われる婉曲表現を含めます。

棄権は低品質言語で安全弁になり得ますが、常に『対応できません』ではサービス提供とは言えません。適切な棄権、人への引継ぎ、回答可能な安全範囲を分け、利用者の言語選択で救済が失われないようにします。

重大失敗が少数言語へ集中する場合、全体件数が少なくても優先します。利用量で重み付けした平均だけでなく、権利と安全の下限を言語ごとに置きます。

『多言語対応』という一括表示を避け、言語ごとに提供機能、品質確認時点、対象外の高影響判断を示します。翻訳だけ可能、検索可能、手続完了可能という機能差も区別します。

下限未達の言語を完全に切り捨てると、アクセス格差を拡大する可能性があります。人通訳、折り返し、文書提出、別チャネルを用意し、待ち時間と完了率を測ります。代替経路が名目だけでないことを確認します。

利用者から訂正を受ける仕組みは、誤り報告だけでなく言語、地域、問題型、影響度を記録します。少数言語の報告件数が少ないことを高品質とみなさず、報告画面自体が使えるかを試します。

提供言語を増やす判断は翻訳完了ではなく、母語話者評価、重大失敗の上限、救済能力、監視担当が揃った時に行います。マーケティング上の言語数を品質指標にしません。

モデル更新は全言語を同じ方向へ動かすとは限りません。回帰集合を言語別に固定し、平均改善、最悪言語、重大失敗、棄権、人評価一致を変更前後で比較します。

一つの言語で改善したプロンプトを全言語へ直訳して適用しません。指示の丁寧さ、語順、区切り、引用形式がモデル挙動を変えるため、言語ごとに検証しながら共通原則を保ちます。

監視では、利用量、訂正率、人への送付率、完了時間、再問い合わせを言語別に見ます。利用が少ない原因が需要の少なさなのか、低品質で離脱したのかを、利用ログだけで決めません。

多言語公平性とは、すべての言語で同じ点数にすることではありません。約束した機能について同じ安全下限と救済可能性を守り、残る差と未検証領域を利用者へ隠さないことです。

評価資源が限られる場合、話者数だけで優先順位を決めると、少数言語の高影響利用が後回しになります。利用者数、権利影響、既知失敗、代替支援の不足を組み合わせ、選定理由を公開可能な形で残します。

新しい言語の追加では、翻訳担当だけでなく、領域専門家、母語話者、安全担当、救済窓口が承認します。一人の流暢な話者へ全地域の妥当性を委ねません。

言語を提供停止する場合も、突然選択肢を消しません。対象者へ理由と代替手段を伝え、進行中手続を完了できる猶予を置きます。品質上の停止がアクセス権の喪失へ直結しないようにします。

外部翻訳サービスや評価者を使う場合、機密保持、データ所在地、二次利用、評価者の労働条件を確認します。多言語品質を作る供給網もガバナンスの対象です。

最終的な提供表には、対応言語数ではなく、機能別の合格状態、最終評価日、重大な既知限界、人への接続時間を示します。利用者が自分の言語で利用リスクを判断できることを成果にします。

言語×機能の提供表には、モデル版と最終評価日、次回評価期限を記録し、言語別の品質下限、重大な害の上限、人への接続時間の上限を定めます。害の上限超過、品質下限未達、または期限切れの機能はその言語で停止し、人による代替窓口へ接続します。母語評価者の再試験と影響利用者への救済を現地運用責任者が確認し、言語別プロダクト責任者が再承認してから提供を戻します。