人とAIの協働は、人だけを超えても最良の単独主体を超えるとは限らない

Vaccaroらは、2020年から2023年6月までの査読研究を系統的に収集し、74論文に含まれる106実験、370効果量を統合しました。人＋AIを人のみと比べると、統合効果はHedges' gで0.64でした。一方、人のみとAIのみのうち成績が良い方を基準にすると、統合効果はg=−0.23となり、人＋AIが有意に下回りました。[1]

前者は人の拡張、後者は相乗効果を測っています。人の作業を改善する導入には価値がありますが、それだけで『人とAIを組ませることが最適』とは言えません。AI単独で処理し、人が例外だけを見る方が良い課題もあれば、人がAIを使わず判断した方が良い課題もあります。比較基準を人のみへ固定すると、この選択肢を見失います。

課題種別でも差がありました。有限の選択肢から答えを選ぶ意思決定課題では相乗効果がg=−0.27、開放的な創造課題ではg=0.19でしたが、後者の信頼区間はゼロをまたぎました。[1] 『創造なら必ず相乗効果がある』のではなく、意思決定課題では特に統合の難しさが観測された、と読むのが安全です。

Vaccaroらのモデレーター分析では、人のみがAIのみを上回る課題で、人＋AIは両者を上回り、相乗効果はg=0.46でした。反対に、AIのみが人のみを上回る課題では、人＋AIがAIのみを下回り、g=−0.54でした。[1] 人が最終承認者であること自体ではなく、AIが誤る事例を人が見分けられるだけの相対的な能力を持つかが重要です。

同じ研究内の例では、AIの正確性が73%だった偽ホテルレビュー判定で、人のみは55%、人＋AIは69%でした。AIが人より強い課題へ人の判断を足すと、AI単独より下がっています。一方、鳥画像の分類ではAIが73%、人が81%、人＋AIが90%となりました。[1] これは個別研究の観測例であり一般則ではありませんが、同じ画面構成でも人とAIの基礎能力の関係によって結合結果が変わることを示します。

説明表示やAIの確信度表示は、メタ分析全体で相乗効果を有意に変えませんでした。人とAIへ下位課題をあらかじめ分担した実験は3件しかなく、平均は正方向でも不確かでした。[1] したがって、説明を加えるだけでなく、どの下位課題を誰へ渡すかを三条件で検証する必要があります。

• 先に測る：人のみ、AIのみの基礎成績と誤りの種類
• 分けて測る：正しいAI提案の採用と、誤ったAI提案の棄却
• 任せ方を変える：助言、第二意見、例外引き継ぎ、下位課題分担
• 表示だけに頼らない：説明や確信度が業務成績を改善したか確認する

Dell’Acquaらは、BCGのコンサルタント758人を、AIなし、GPT-4あり、GPT-4とプロンプト設計の概要ありの三条件へ無作為に割り付けました。AI能力の範囲内に設計された18課題では、AI利用者は12.2%多くの課題を完了し、平均25.1%速く、回答品質も有意に高まりました。[2] AIが得意な探索、案の展開、文章化を人の仕事へ接続できた場面です。

しかし、AI能力の範囲外に置いた複雑な経営課題では、AI利用者は対照群より正解を出す確率が19ポイント低くなりました。[2] 同じ職種、同じモデル、似た難易度でも、AIが助ける課題と害する課題が混在します。著者らが示した『jagged frontier』は、職務全体をAI向き・不向きに二分するのではなく、仕事を下位課題へ分解する必要を示します。

この実験にはAI単独群がないため、最良の単独主体を超える相乗効果そのものは判定できません。示しているのは、人のみを基準にした拡張効果が課題境界で反転することです。また、境界外として検証されたのは一課題で、モデルは2023年時点のGPT-4です。[2] 固定された禁止表を作るのではなく、モデル更新のたびに能力境界を再測定します。

• AI優位：大量候補の生成、既知情報の整理、形式変換
• 人優位：目標設定、曖昧な制約の調整、責任を伴う例外判断
• 協働候補：強みが異なり、出力を検証でき、受け渡しコストが小さい課題
• 保留候補：AIの誤りを発見しにくく、失敗が不可逆な課題

既存メタ分析では、説明やAI確信度の表示が相乗効果を有意に変えるとは確認されませんでした。[1] ただし、これは表示に価値がないことの証明ではなく、対象研究と実装条件の範囲で明確な平均差を検出できなかった結果です。表示を万能な解決策にも無効な機能にもせず、受け渡し条件の一部として再検証します。

結合系の追加価値は、最良の単独成績との差だけでなく、相談、確認、統合、待ち時間、責任移転に使った資源を含めて評価します。品質がわずかに上がっても、受け渡しが長く例外処理が増えるなら、全件協働より単独処理と例外引継ぎの方がよい場合があります。これは研究の平均効果ではなく、自社工程で確かめる調整コストの仮説です。

推奨する『相乗収支票』では、人のみ、AIのみ、人＋AIの品質と時間に加え、提案を読む、反証する、修正する、責任者へ渡す工程を別に計上します。結合系が最良単独を上回っても、特定利用者の無償な追加作業へ依存する場合は再現可能な相乗としません。品質差と調整負荷を同じ課題・期間で観測できる範囲だけを拡大します。

三条件の結果を見ながら『この課題は人、この課題はAI』と規則を作ると、観測した標本へ都合よく適合できます。振り分け規則を作る標本と、その規則を固定して評価する標本を分け、後者で最良単独を超えるかを確認します。これは新しい効果主張ではなく、課題境界を過大評価しないための推奨手順です。

仮想例です。学習用標本では、情報量が多い案件だけ人が優位に見えたとします。そこで情報量を振り分け条件に固定し、別の案件群で人、AI、結合系へ割り当てます。結果が再現しなければ、情報量ではなく担当者の熟練度や誤りの検証可能性が説明した可能性を残します。規則を後から変更した場合は、新しい版として再検証します。

推奨する判定は、全体平均だけでなく、誤った振り分けがどちら向きに起きたかを記録することです。AIへ任せて人優位を失った案件、人へ渡してAI優位を下げた案件、結合して両者を下回った案件を分けます。規則が不確かな区分は全件協働へ逃がさず、失敗影響に応じて人、AI、保留の安全側を事前に定めます。

• 規則候補：課題特徴と、人・AI・結合系の割当条件を一文で置く
• 学習標本：規則を作った案件と観測した三条件成績を保存する
• 検証標本：規則を固定し、未使用案件で最良単独との差を測る
• 誤振分け：人優位損失、AI優位損失、結合劣化を別々に記録する

協働を評価する最小単位は、人のみ、AIのみ、人＋AIの三条件です。正答、品質、時間、再作業、誤りの検出率を同じ課題で測ります。人＋AIが人のみを上回っても、AIのみを下回るなら、全件を人へ戻す設計には再考の余地があります。逆にAIのみが平均で強くても、特定の例外を人が見抜けるなら、その例外条件と引き継ぎ方法が協働の価値になります。

次に、誰がいつ仕事を渡すかを決めます。モデルが不確かなときだけ人へ渡す方式、人が暫定判断を作ってからAIを第二意見として見る方式、AIに候補生成だけを任せる方式では、同じモデルでも結果が変わります。権限表だけでなく、入力、判断順序、根拠表示、棄却、停止、復旧までを一つの実験条件として記録します。

相乗効果は、AIの利用率が高い状態ではありません。単独の強みを保ち、弱みが重ならないよう課題と受け渡しを設計し、結合後の成績が本当に最良の単独主体を超えた状態です。そこまで測れない段階では、『人を拡張した』と『人とAIが相乗した』を分けて報告する方が、投資判断を誤らせません。

業務責任者は、人のみ・AIのみ・人＋AIの条件版と共通課題・費用枠を三条件比較票に固定し、最良の単独主体を上回る品質差の下限と重大誤りの上限を事前登録します。結合系が追加価値の下限を満たさない、または誤り上限を超えた場合は、最良だった単独方式へ戻します。受け渡しの再設計後、二回の観測期間で品質調整後の追加価値を再現し、品質責任者と財務責任者が共同承認してから再開します。