生成AIの助言で、専門家の判断は良くなるのか

Wangらは、2025年6月までに公表された人とLLMの臨床協働研究を系統的に検索し、査読済み10研究を主解析、3件のプレプリントを感度分析に用いました。診断・管理の複合スコアを報告した2試験の統合差は、人＋AIが人のみを4.88ポイント上回りました。しかし95%予測区間は−31.65から41.42ポイントまで広く、別の臨床環境では利益が出ない可能性も残ります。[1]

同じレビューで、診断・解釈の正確性は改善方向だったものの統計的に不確かで、所要時間を統合した3研究にも全体差はありませんでした。文書品質が上がった研究でも、事実誤りが約26%から36%残りました。[1] 観測された改善を否定する必要はありませんが、『医療でAI助言は有効』という一文へ圧縮できる証拠でもありません。課題、画面、利用者の訓練、確認工程を含む実装条件が結果を変えます。

2024年のGohらの試験では、内科・家庭医療・救急医療の医師50人が、GPT-4と通常資料を使う群、または通常資料だけの群に無作為化され、最大6件の診断症例に回答しました。症例ごとの診断推論スコア中央値は76%対74%、調整差は2ポイントで、95%信頼区間は−4から8ポイント、P = 0.60でした。時間にも有意差はありませんでした。[3] 少なくともこの条件では、LLMへのアクセスは診断推論を改善しませんでした。

一方、2025年の別試験では、医師92人が実患者を基にした5件の管理症例へ回答し、GPT-4利用群は通常資料群より管理推論の総合スコアが6.5ポイント高くなりました。診断、患者背景、検査、治療の優先順位を含む開放型課題での改善です。ただしLLM利用群は一症例あたり平均119.3秒長く、品質向上を速度向上と同義にはできません。[2]

2026年には、パキスタンの免許医60人を募集し、20時間のAIリテラシー教育を全員が受けた後に無作為化した試験も報告されました。完了した58人では、GPT-4oと通常資料を使う群の診断推論が、通常資料のみの群を調整後27.5ポイント上回り、所要時間に差はありませんでした。[4] ただし両群とも同じ研修を受け、未研修でLLMを使う群はありません。したがって、この差の全てを20時間研修の効果とみなしたり、Gohらの米国試験との差を研修だけで説明したりはできません。

これらの試験は、対象者、症例、評価尺度、利用前教育が異なるため、差をLLMの一つの平均効果として比較できません。それでも、同じ種類の専門家と同系統のモデルで結果が変わったことは重要です。『職種』より細かい『判断課題』を導入単位にする必要があります。

• 分類：正解候補を絞る診断か、複数の制約を調整する管理判断か
• 入力：必要な事実が揃っているか、追加情報を取りに行く必要があるか
• 検証：誤った提案を見抜く根拠と時間が利用者に与えられているか
• 損失：誤答が発見可能か、決定を後から戻せるか

2024年の診断試験では、探索的なLLM単独評価が通常資料群より16ポイント高い一方、医師にLLMを渡しても有意な改善はありませんでした。[3] 2025年の管理推論試験でも、LLM単独43.7%と人＋LLM 43.0%の差は有意ではありませんでした。[2] モデルが持つ能力を、利用者がそのまま取り込めるわけではありません。

これらの試験だけでは、改善を妨げた機序を特定できません。人が正しいAI提案を退けたのか、誤った提案を採用したのか、質問の仕方や画面上の提示が不十分だったのかは分けて検証する必要があります。したがって、導入評価では最終正答だけでなく、提案の採否、修正理由、誤答検出、確認時間を残します。

• 人のみ、AIのみ、人＋AIの三条件を可能な範囲で測る
• AI提案の採用、修正、棄却を理由付きで記録する
• 正しい提案の採用率と、誤った提案の棄却率を分ける
• 完成文の品質と、根拠の正確性を別の評価者が確認する

臨床協働の統合結果には広い予測区間が残り、別の試験ではLLMへのアクセスによる診断推論の有意な改善が確認されませんでした。[1][3] これらは『LLM助言が無価値』とも『人と同等』とも直ちに意味しません。利益を検出できなかった状態、意味のある差を除外できた状態、現場への移植が不確かな状態を分ける必要があります。

実務では、試験前に最小限必要な品質改善と、許容できる時間増加、重大誤りの上限を置きます。結果が改善方向でも不確実性が基準をまたぐなら『有望』ではなく未確定、差が小さくても重大誤りの上限を越えるなら不採用とします。平均点だけでなく、どの結論を証拠が支持し、どの結論をまだ除外できないかを審査票へ残します。

推奨する証拠状態は、優越、条件付きで許容差内、不確定、害の懸念、比較不能です。許容差は試験前に業務側が定め、統計的な非劣位が実証されたという意味では使いません。これは研究が定めた分類ではなく、異なる試験結果を導入判断へ誤変換しないための運用案です。症例、利用者、評価尺度、教育条件が自社と違う場合は、結果が明確でも移植可能性を別欄で保留し、代表課題の比較へ戻します。

同じ一件の誤答でも、追加確認で戻せる候補漏れと、後から訂正しにくい最終判断では損失が異なります。専門家向けAIの評価では、正答率へ一律に重みを掛けるのでなく、誤りの種類、発見可能性、可逆性、影響対象を症例ごとに記録します。これは臨床効果の新しい推定ではなく、導入側が自ら定める損失設計です。

仮想例です。AIが不要な追加検査を勧める誤りと、必要な対応を候補から落とす誤りが同数でも、確認経路と影響は同じではありません。人が訂正できた場合も、訂正に必要な情報と時間を残します。正答へ到達したから無害とせず、誤助言がどこまで進み、何が止めたかを記録することで、画面、教育、適用範囲の変更先を決めます。

推奨する比較では、人のみと人＋AIを、最終点だけでなく損失区分別の誤り、訂正率、確認時間で見ます。損失が大きく検証しにくい区分は、平均改善で相殺せず助言範囲から外します。損失の重みは研究論文から借りず、業務責任者と品質責任者が事前に合意し、結果を見た後に都合よく変えないよう版管理します。

• 誤り類型：見逃し、過剰提案、順位誤り、根拠不一致を区別する
• 損失条件：影響対象、発見可能性、可逆性、訂正期限を記録する
• 防御経路：誰が何の根拠で誤助言を止めたかを症例へ結ぶ
• 判定規則：平均点で相殺しない区分と適用除外を事前に置く

専門家が最終承認するという役割表だけでは、判断品質を保証できません。高影響の案件では、AIを見る前の暫定判断、反証を促す質問、根拠への直接導線、確信度ではなく不確実性を示す表示、独立レビューを組み合わせます。AIに依頼する範囲も、候補生成、根拠検索、比較表の作成、最終推奨のどこまでかを明示します。

効果判定は、平均スコア一つではなく、判断品質、誤答時の損失、確認時間、再作業、利用者別のばらつきで行います。研究の平均値をROIへ移すのではなく、自社の代表課題を固定し、同じ品質基準で小さく比較し、再現した範囲だけを拡大します。生成AIの助言は、導入すれば効く機能ではなく、仕事との組み合わせを実験し続ける介入です。

業務責任者は、代表課題・助言画面・モデル版を導入判定票の識別欄に、判断品質の下限と重大誤答・確認時間・再作業の上限を合格欄に記録します。下限未達または上限超過の課題は自動化範囲から外して人の手順へ戻します。原因となる受け渡しを直し、二回の観測期間で全条件を満たしたことを品質責任者が承認した場合だけ再開します。