AIを何人集めても、独立した知恵にはならない

Duらは、複数の言語モデルが回答と批判を交換する討議により、選択した推論・事実性課題で性能が改善することを示しました。[1] これは、相互検討が誤り訂正に使える可能性を示す重要な証拠です。

一方で、評価は特定のモデル、課題、討議プロトコルに基づきます。[1] すべての業務で議論が単一回答より良い、または長く議論するほど良いという結論ではありません。

導入時は、改善した最終正答だけでなく、どのターンで誤りが見つかり、どの根拠で修正されたかを追います。単なる回答の言い換えを批判回数として数えません。

異なる初期仮説や、新しく独立に検証した根拠が、討議を改善する手がかりになります。他者の根拠を識別し、正しい理由へ更新できるかを確かめます。全員が同じ誤答で新たな検証根拠が入らなければ、対話が確信だけを強める可能性があります。

適用候補は、根拠比較や反例検討が可能な課題です。明確な外部正解をすぐ照合できる課題では、討議より検証ツールの方が安価で確実な場合があります。

• 初期仮説：異なる候補が実際に出ているか
• 批判内容：根拠・計算・前提のどこを検査したか
• 更新理由：相手の権威でなく証拠で変えたか
• 最終改善：単純な再生成より正確になったか

同じ基盤モデル、同じプロンプト、同じ検索結果から作った回答は、形式が違っても誤りが相関し得ます。多数決の前提となる独立性を、エージェント名の違いだけで満たしたと考えません。

初期回答の意味的多様性、根拠の重複、誤り型の一致を測ります。表現が多様でも結論と前提が同じなら、独立な仮説は増えていません。

モデル系列、温度、役割指示を変えることで多様性を増やせますが、無作為な揺れも増えます。多様であること自体ではなく、正しい候補が含まれる確率と識別可能性を評価します。

外部データを分ける場合は、根拠の品質差を記録します。一人だけ古い資料を持つ状況を、純粋な推論多様性と混同しません。最終判断では根拠の時点と権威を比較します。

同じ誤答へ全員が一致しても、合意率を信頼度にしません。既知正解集合で、全会一致の誤答がどれだけ起きるかを測り、合意と正確性を分けます。

Khanらは、情報を持つ強いモデル同士の討議を、情報を持たない弱いモデルや人が判定する設定を調べ、討議が真実の識別を助ける結果を報告しました。[2] 監督者より高度なモデルをどう評価するかという重要な問題を扱います。

ただし、研究設定では正答が管理され、討議者が異なる立場を擁護します。[2] 実務の曖昧な判断や、両者が同じ欠落情報を持つ状況へそのまま移せません。

説得力と正しさを分けるため、審査員へ根拠箇所、反証、未解決点を提示させます。流暢さや自信だけで勝者を選んでいないかを、既知の誤答討議で試します。

審査員がLLMなら、そのモデルの位置・冗長性・自己選好も監査します。討議参加者と同じ系列だけで審査を閉じず、人または別系列へ送る不一致条件を置きます。

人が審査する場合も、長い討議を読む負荷があります。要約だけでは重要な反証を落とす可能性があるため、根拠リンクとターン別変化を辿れる表示にします。

• 根拠提示：主張を検証可能な箇所へ結ぶ
• 反証提示：相手の最強の反例を残す
• 未解決点：合意できなかった前提を隠さない
• 審査限界：判定者が理解できない条件を人へ送る

討議では、最初に正しかったエージェントが多数派の誤答へ変更することがあります。モデルは相手の確信表現や人数を証拠のように扱い、内容より社会的な手掛かりへ従う可能性があります。

各エージェントの初期回答を非公開で保存し、ターンごとの変更を追います。最終正答率だけでは、討議が誤答を直した件数と正答を壊した件数を相殺してしまいます。

相手の名前、モデル名、過去の勝率を隠し、内容だけで再評価させる対照を置きます。匿名化で判定が変わるなら、アイデンティティへの重みが入っています。

多数決を最終規則にする場合、少数意見の根拠を捨てません。少数だけが一次資料を引用する場合は、票数より根拠検証を優先します。

同調が強い領域では、連続対話を減らし、独立生成の後に一回だけ根拠比較を行う方式を試します。会話量を増やすことを改善とみなしません。

Beckerらは、複数エージェント討議がターンを重ねる中で元の問題から逸脱し、成績を傷つけるproblem driftを分析しました。[3] 長い議論には追加情報だけでなく、誤解と余談も蓄積します。

各ターンで、元質問、制約、未解決点を固定表示し、発言がどの要件を進めたかを記録します。新しい主張が出たら根拠を要求し、検証できない枝を最終回答へ持ち込みません。

同じ指摘の反復、低品質な批判、曖昧な質問がドリフトの兆候です。[3] ターン上限だけでなく、進展がない場合の早期停止を置きます。

長い討議を一つのプロンプトへ再投入すると、重要な初期条件が中間へ埋もれる可能性があります。要件と根拠を構造化し、会話履歴の全文だけに依存しません。

主観的な創作課題では、答え空間が広く逸脱判定も難しくなります。正解が明確な課題で得た停止規則を、価値判断へ機械的に移しません。

複数モデルと長い討議は推論費と応答時間を増やします。比較対象は一回の安価な回答だけでなく、同じ予算の自己一貫性、検索、検証ツール、人確認です。

討議が多数決を上回っても、外部計算器で同じ誤りを簡単に検出できるなら、討議を選ぶ理由は弱くなります。課題ごとに最も直接的な検証方法を優先します。

費用にはトークンだけでなく、ログ保存、審査、遅延、失敗調査を含めます。討議が説明可能性を高めても、誤った理由を大量に生成すれば確認負荷が増えます。

上乗せ価値は、単純方式との差分正答、重大誤答の減少、棄権改善、確認時間で測ります。絶対得点が高くても、同じ予算の対照を上回らなければ採用しません。

一部の難例だけ討議へ送るルーターも評価します。誤って簡単な例を大量送付する費用と、本当に難しい例を見逃す損失を含めます。

本番ログには、初期回答、各批判、変更理由、引用、最終集約、審査者を保存します。最終文だけでは、正しい少数意見が消えた過程を再現できません。

個人情報や機密を複数エージェントへ複製しないよう、必要情報を役割別に最小化します。討議の参加者が増えるほどデータ露出面も増えることを考慮します。

モデルやプロンプトを更新したら、初期多様性、正答保持、ドリフト、費用を再評価します。参加者の一体を変えただけでも相互作用が変わるため、部分変更を軽微とみなしません。

停止条件は、正答破壊の増加、ドリフト、同調、重大誤答、費用超過です。停止後は単一モデルまたは人手順へ戻せる経路を保ちます。

複数AIの価値は人数ではなく、独立な仮説と検証可能な批判が最終判断を改善した差分です。その差分が同じ予算の単純方式を超える範囲だけで討議を使います。

同予算比較票は、課題群・エージェント役割・集約方式・費用枠を固定し、単純方式に対する品質改善の下限と、費用・遅延・重大誤りの上限を定めます。改善下限を満たさないか上限を超えた用途は討議を止め、同じ予算の単純方式へ戻します。役割または集約方式を変えた独立再試験に評価責任者とFinOps責任者が共同合格を出してから再開します。