人の予測は、訓練・集約・反証でどこまで良くなるか

Changらは地政学予測大会で、確率論、基準率、更新、認知バイアスなどを扱う1時間未満の訓練を検討し、対照条件よりBrier精度が6〜11%改善したと報告しました。[1] 短い介入でも、曖昧な直感を確率へ翻訳し、結果からフィードバックを受ける型を共有できる可能性を示します。

実務では、予測対象、期限、成立条件、判定に使う情報源を質問公開時に固定します。『成功すると思う』では採点できませんが、『指定日までに公表指標が条件を満たす確率』なら、結果と照合できます。予測者には根拠の長さより、基準率、主要な反証、更新を起こす観測を短く記録してもらいます。

質問公開時に、解決判定者と異議処理も決めます。情報源が後から改訂された、条件が一部だけ成立した、期限時点で公表が遅れた場合の扱いを固定しないと、予測力ではなく採点変更が点数を動かします。訓練の効果を検証するときは、同じ定義の質問と採点規則を用い、参加者の選択差を別に記録します。[1]

Baronらは、複数人の確率を単純平均すると中立点へ圧縮されやすく、条件によっては集約値をより極端に補正することで現実の頻度へ近づけられると論じました。[2] 個人が持つ情報の一部しか共有されないことと、誤差を含む確率を平均することが、集約確率を過度に穏当へする二つの理由です。

ただし極端化は、自信を強める儀式ではありません。予測者の情報が独立に近いか、同じニュースへ一斉反応しているかで適切な補正は変わります。まず他者の予測を見せずに初期値を集め、中央値、重み付き平均、過去データで校正した補正を比較します。集約規則は結果を見て都合よく変えず、期間ごとに外部検証します。

集約値の改善が極端化によるものか、少数の熟練者の重みによるものかを分けるため、単純平均、事前に定めた重み、校正済み補正を同じ外部期間で比較します。予測者が同じ情報源へ依存する場合、人数が多くても独立情報は増えていません。情報重複が強い群で補正が悪化するなら、補正量ではなく情報源の多様性を見直します。[2]

Hauensteinらは大会初期2年分を再分析し、質問への回答時期や回答する項目の選択といった方法分散を調整すると、訓練・チーム効果の多くが縮小し、最良モデルでは2年目の訓練効果が確認できないと報告しました。[3] 同じデータでも、誰がいつ何に答えたかを扱う方法で結論が変わり得ます。

これは訓練が無意味だという最終結論ではなく、観測された成績差を介入効果と同一視しないための警告です。熱心な参加者ほど多く、早く、得意な質問へ答えるなら、回答行動そのものが点数に影響します。施策評価では参加率、回答遅延、欠測、質問難度を保存し、介入前に主要分析を決めて、都合のよい参加者だけで比較しないようにします。

介入評価では、誰がどの質問へいつ答えなかったかも成果データです。訓練群が得意な質問だけを選ぶ、早い段階で多く答える、難しい質問を欠測にするなら、得点差には回答行動という代替説明が残ります。[3] 全参加者を同じ問いで比較できない場合は、事前に定めた欠測処理と感度分析を併記し、完回答者だけの成績で拡大を決めません。

集約確率の補正は、予測者が共有する情報の重なりに依存し、極端化が常に改善するとは限りません。[2] ただしこの方法論は、組織内の情報源を自動的に識別する手順を提供するものではありません。以下では、人数ではなく根拠の独立性を事前監査する運用案として具体化します。

初期予測と同時に、参照した一次情報、社内分析、他者の見解、推測を短い識別子で必ず残します。内容を共有する前に採取し、同じ資料の要約や転載は別の根拠として数えません。根拠を開示できない場合も、独自取得か共有経路かだけは区分し、重複不明を独立と仮定しません。情報源未開示も別に区分します。

仮想例として、十人が同じ報告を読んだ場合、十個の独立観測があるとは扱いません。一方、同じ結論でも異なる一次情報へ到達した予測は別経路として残します。集約規則は根拠群ごとに感度を比べ、最大群を一つの票へ潰すのではなく、重複を強く仮定した場合にも結論が保たれるかを示します。

予測が経営判断へ使われると、その後の行動が結果を変え得ます。これは予測の因果効果を推定する節ではなく、採点対象を混ぜないための運用提案です。行動前の無条件予測と、対策を行う場合・行わない場合の条件付き予測を別の版として保存し、実施した行動を後から上書きしません。

仮想例として、高い障害確率を見て予防対応を行い、障害が起きなかった場合、対策なしなら何が起きたかは観測できません。それでも、事前の無条件予測は事前に定めた事象と期日に対する実際の結果で採点します。対策後の結果だけから予測の因果的な良し悪しを断定せず、当時想定した条件、実施した対応、予測更新を一つの履歴に残します。観測されなかった対策なしの条件付き結果は、無条件予測とは分けて未観測として扱います。

運用では、質問の版を変えずに条件を後付けしません。意思決定利用者が予測を見た時点を固定し、その後の行動と更新を分岐として保存します。介入を受けた案件も事前の採点対象から結果を見て除外せず、介入の有無、採点対象数、条件付き結果の未観測数を併記します。因果効果の評価には別の設計が必要です。

• EVIDENCE LINEAGE：一次情報、社内分析、他者見解、推測の由来と共有経路を残す
• FORECAST SNAPSHOT：他者閲覧前、意思決定前、行動後更新を別の版として固定する
• ACTION BRANCH：予測を見て実施した対応と、対応有無ごとの条件付き予測を結ぶ
• SCORING STATUS：通常解決、条件付き解決、介入後で解釈注意、採点不能を分ける

運用単位は予測者のランキングだけではありません。質問設計、基準率の参照、独立した初期予測、集約、更新、解決判定、振り返りを一つの台帳で追います。振り返りでは外れた物語を責めるより、情報がなかったのか、知っていたが重みを誤ったのか、更新が遅れたのか、質問自体が曖昧だったのかを分類します。

指標は平均点だけでなく、確率と実現頻度の一致を示す校正、起こる事象と起こらない事象を分ける識別力、予測の鋭さ、更新の適時性を見ます。高影響の意思決定では、集約値と少数派の反証を併記します。組織に必要なのは常に当てる人ではなく、外れ方を記録し、次の判断を速く修正できる仕組みです。

予測台帳の所有者は、質問設計、集約、解決判定、意思決定利用を分けます。校正が崩れたときは個人を責める前に、質問定義、情報重複、更新遅延、解決規則を再点検します。集約法を変更したら過去期間へさかのぼって比較し、外部期間で改善しない場合は旧方式へ戻します。少数派の反証が消える方式は採用しません。

• 定義：期限、成立条件、判定情報源を質問公開時に固定する
• 独立：他者の数値を見る前に初期確率と主要反証を記録する
• 集約：平均、重み、補正規則を事前設定し外部期間で検証する
• 学習：校正、識別力、更新速度、欠測と回答行動を振り返る