生成AIのROIは、導入前の設計で決まる

NoyとZhangは、453人の大卒専門職を無作為に分け、職種に即した文章課題を行いました。生成AIを使える群では平均所要時間が40%短く、独立評価者による品質が18%高まりました。[1] ただし課題は短く、企業固有の文脈や厳密な事実確認をあまり必要としません。ここで測られたのは、特定タスクの生産性です。

Dillonらは、66社・7,137人を対象に、日常アプリへ組み込んだ生成AIの無作為化実験を行いました。実験の4〜6か月目には、利用権付与の効果として計測されたメールセッション時間が週約1.4時間減少しました。無作為な利用権付与を操作変数とする利用効果の推定では約2時間の減少ですが、追加仮定を必要とし、実利用者だけを抽出した単純比較ではありません。[4]

品質や売上は直接測定されていないため、浮いた時間の移行先を測らなければ、時間短縮だけからROIは計算できません。

時間短縮を価値へ変えるには、短縮した工程の次に何が起きたかを追います。処理量が変わらないなら、需要不足、後工程の制約、浮いた時間の別業務への吸収という代替説明があります。AI利用群だけでなく従来手順の同期間も記録し、後工程の待ち時間または確定成果が改善しない場合は、短縮時間をそのまま便益へ計上しません。[1] [4]

ROI台帳では、利用から事業成果までの変換経路を明示します。AI利用、作業時間、レビュー、確定品質、再作業、処理量、最終成果を同じ業務IDで結び、途中の変化が観測できない場合は因果の空白として残します。利用料が下がっても確認負荷が別部署へ移っただけなら、部門別の改善ではなく総コストの移転として扱います。

• 利用：対象者のうち、誰がどの業務で使ったか
• 効率：作業時間、待ち時間、リードタイムがどう変わったか
• 品質：正答、差し戻し、再作業、顧客評価がどう変わったか
• 事業成果：売上、粗利、処理能力、機会損失へどうつながったか
• 総コスト：モデル利用料、確認、教育、データ整備、統制を含めたか

Brynjolfssonらが5,172人のカスタマーサポート担当者、約300万件の会話を分析した研究では、AI支援によって1時間あたりの解決件数が平均15%増えました。効果は一様ではなく、導入前のスキルが最も低い層では36%増え、最上位層では有意な生産性向上が確認されませんでした。[2] 平均効果だけで投資を決めると、どの業務と人に価値があるかを見失います。

ROI台帳は、全社で一枚ではなく業務単位で持ちます。入力データ、難易度、担当者の熟練度、AIの提案を採用した割合を揃え、効果の分布を見ます。同じツールでも、経験の浅い人への知識移転と、熟練者の探索支援では価値の出方が異なるためです。

効果の違いを熟練度だけへ帰属する前に、担当案件の難易度、AIを選ぶ自己選択、レビュー者、勤務帯などを確認します。低熟練層で大きな改善が観測された研究は重要ですが、別職種へ移すには、同じ業務条件の中で層別比較が再現することが条件です。[2] 逆に熟練者で平均差がなくても、探索や例外処理の一部に価値が残る可能性を別指標で調べます。

758人のコンサルタントを対象にした無作為化実験では、385人がAIの能力範囲内に設計された18課題、373人が能力範囲外に設計された一つの課題へ割り当てられました。能力範囲内ではAI利用群の課題完了数、品質、所要時間が改善しました。一方、能力範囲外の課題では、AI利用群の正答率が対照群より平均19ポイント低下しました。[3] もっともらしさや速度だけをKPIにすると、誤答の価値毀損を見落とします。

導入前に、従来業務のベースラインと、継続・拡大・停止の基準を固定します。短縮時間を金額換算するだけでなく、正答率、再作業、レビュー時間、失敗時の影響を同じ分母へ置きます。ROIとは導入後に作る説明資料ではなく、投資判断を更新する観測装置です。

拡大と撤回の判定は、導入後に都合よく変えません。能力範囲内では時間・完了・品質が改善しても、範囲外で正答が下がり得るため、対象業務ごとに品質ガードレールを置きます。[3] ガードレールを破る区分は利用率や短縮時間にかかわらず従来手順へ戻し、改善が再現した区分だけを次の投資単位へ広げます。再開判断は品質責任者が記録し、費用責任者だけでは解除しません。

• 従来手順とAI支援手順を、同じ難易度・期間・品質基準で比べる
• 採用率だけでなく、修正量とレビュー時間を記録する
• 平均値に加え、業務・熟練度・難易度別の分布を見る
• 誤答の損失と、AIを使わない機会損失を両方見積もる
• 再現できた条件だけを、次の投資単位へ広げる

能力範囲によって速度・品質の改善と正答低下が同じ導入内に現れた実験は、成果を一つの平均へまとめる危うさを示します。[3] ただし、この研究が企業会計上の二重計上を観測したわけではありません。以下では、品質を調整した投資判断へ研究結果を移す際の会計上の推論として、便益の重なりを扱います。

仮想例です。作業時間の短縮を人件費削減として全額計上し、同じ時間で増えた処理件数も売上便益へ足すと、一つの余力を二度数える可能性があります。品質向上による再作業減と、再作業時間の短縮も同様です。便益候補ごとに発生源、受益部門、実現条件を結び、同じ変化を共有する候補は排他的なシナリオとして扱います。

推奨する判定は、便益を現金支出の減少、処理能力の増加、品質損失の回避、将来選択肢の四区分へ分け、実現を確認できた区分だけを合算することです。余力が生まれても需要や配置変更がなければ、現金便益ではなく未行使能力として残します。重複を除いた後でも品質下限と総コストを満たす案件だけを投資候補にします。

ROIの不確実性をすべて同じ精度まで減らす必要はありません。投資判断を反転させる変数と、広い範囲で動かしても結論が変わらない変数を分けます。前者について、追加計測に必要な費用と期間が、誤った拡大または見送りを避ける価値より小さいかを比較します。これは効果量の推定ではなく、次の実験へ資源を配る意思決定手順です。

仮想例です。実利用率が少し下がるだけで投資回収が崩れ、モデル料金を大きく変えても結論が同じなら、価格交渉より利用の再現性を先に測ります。反対に、品質下限を割る確率が判断を左右するなら、利用者数を増やす前に境界案件の標本を追加します。どの計測を選んだかと、選ばなかった不確実性を投資票へ残します。

推奨する運用は、変数ごとに現在の幅、判断が反転する境界、追加観測の最小単位、観測後に取り得る行動を一枚へ置くことです。観測結果を受けても拡大・縮小・停止のどれも変えられない計測は、優先順位を下げます。検証費を導入費と分離せず、判断を改善するための投資として総コストへ含めます。

• 対象変数：判断を反転させ得る利用率・品質・損失・費用を一つ選ぶ
• 不確実性幅：現在の下限・基準・上限と、その根拠を記録する
• 追加観測：必要標本、期間、費用、観測後に選べる行動を結ぶ
• 停止規則：結論が変わらない範囲まで確認したら計測を終える

ROIは一点の予測ではなく、前提を変えた範囲で示します。利用対象者、実利用率、短縮時間のうち成果へ再配分できる割合、品質改善、誤答損失、レビュー時間、モデル費、教育・データ整備・統制費を別々の変数にします。基準、慎重、悪化の各条件で結果を再計算し、一つの楽観前提が外れただけで投資判断が逆転する案件は、小規模検証のまま留めます。

費用責任者は総コストと回収条件、業務責任者は処理量と最終成果、品質責任者は正答・再作業・重大失敗を所有します。継続判定では、便益が増えたかだけでなく、品質下限を守り、別部署へ確認負荷を移さず、従来手順より悪い区分を戻せるかを確認します。測れない変数はゼロや平均で埋めず、不確実な前提として意思決定者へ残します。

• 便益：短縮時間のうち、処理量・品質・顧客成果へ移った分だけを数える
• 費用：利用料に加え、確認、再作業、教育、データ整備、統制を含める
• 感度：実利用率、再配分率、誤答損失を変えて判断が反転する境界を探す
• 撤回：品質下限、総コスト、回収条件のいずれかを外れた区分を従来手順へ戻す