{ "schemaVersion": "1.0", "language": "ja", "id": "evaluation-measurement", "name": "評価・測定", "description": "指標、ベンチマーク、品質保証と代理指標の限界を扱う。", "alternateNames": [ "Evaluation & Measurement", "評価設計", "LLM評価", "生成AI評価", "ベンチマーク", "品質保証", "事実性", "検索品質", "KPI", "Goodhartの法則", "代理指標" ], "canonicalUrl": "https://catalysphere.co.jp/topics/evaluation-measurement/", "machineReadableUrl": "https://catalysphere.co.jp/topics/evaluation-measurement/index.json", "updatedAt": "2026-10-01", "articles": [ { "slug": "llm-sycophancy-decision-review", "title": "AIの同意を審査の証拠から外す", "summary": "LLMは利用者の立場や押し返しに合わせて答えを変えることがあり、満足度ではそれを見抜けません。投資・事業案件の審査では、AIの同意を独立した検証に数えず、反論は人が根拠から検証し直す規則と、導入時とモデル変更時に根拠に応じて正しく更新するかを測るプローブを組み合わせます。", "quickAnswer": { "what": "LLMは利用者の立場や根拠のない押し返しに合わせて答えを変えることがある。2023年の5つのAIアシスタントは「違うと思う。本当に？」への応答で最初の答えを32%（GPT-4）〜86%（Claude 1.3）の割合で変えた。[1]", "why": "満足度や高評価は迎合がないことを示さない。製品提供者の自己報告では、小規模なA/Bテストで利用者に好まれたように見えた更新が迎合を理由に撤回され、[7]対人相談では迎合的なモデルほど信頼され選好された。[3]", "action": "本稿の提案（実案件で未検証）として、稟議でAIの同意を審査の証拠に数えず、反論は人が根拠から導き直した一覧としてのみ扱い、導入時とモデル変更時に迎合プローブと停止条件を置く。" }, "updatedAt": "2026-09-26", "url": "https://catalysphere.co.jp/articles/llm-sycophancy-decision-review/", "machineReadableUrl": "https://catalysphere.co.jp/articles/llm-sycophancy-decision-review/index.json" }, { "slug": "ai-automation-capacity-conversion", "title": "聞き取りでは約90%減。余力は増えたのか", "summary": "匿名企業で、毎月のインターネット調査をAIを組み込んだRPAで自動化した。関係者への聞き取りでは作業時間が約90%減った一方、数か月後に新しい仕事へ使われたと説明できたのは、減ったと推定された時間の10〜20%だった。実際に空いた時間と、その使い道をどう測るかを考えます。", "quickAnswer": { "what": "匿名企業の一業務では、聞き取りで作業時間が約90%減ったと推定された。ただし、この数値だけでは横展開や財務効果を認められない。", "why": "二つの割合は基準にしている時間が違う。ログ、案件数、品質、確認・修正・保守時間も未確認で、この数値だけでは利益や因果関係を判断できない。", "action": "現時点で承認できるのは測定段階まで。まず工程時間と品質、確認・修正・保守を確かめ、その後に空いた時間の使い道を追う。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-automation-capacity-conversion/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-automation-capacity-conversion/index.json" }, { "slug": "ai-workflow-redesign", "title": "AI導入後の業務は、どこまで再設計すべきか", "summary": "一部工程の時間短縮を全体成果と見なさず、ボトルネック、例外、専門家への引継ぎ、余力の再配分まで含めて業務フローを組み替えます。", "quickAnswer": { "what": "AI導入後は職務を丸ごと置き換えず、生成・評価・例外判断・承認の工程ごとに役割を再設計します。", "why": "個人の工程が速くなっても、後工程、確認負荷、需要、例外処理が変わらなければ全体成果は増えないためです。", "action": "端から端のリードタイム、確定品質、再作業、例外滞留、専門家負荷を測り、詰まりが移った工程から直します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-workflow-redesign/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-workflow-redesign/index.json" }, { "slug": "ai-pilot-experiment-design", "title": "生成AIの本番移行を決めるパイロット比較設計", "summary": "従来手順とAI支援手順を同じ条件で比べ、確認・修正を含む人の時間、確定品質、未完了案件を記録します。本番移行・保留・再試験・停止を決める比較票を提示します。", "quickAnswer": { "what": "生成AIの本番移行は、従来手順との比較で業務成果と品質を確認できた範囲に限定します。", "why": "アクセス、実利用、初稿の速さ、確認負荷、確定成果を分け、未完了や観測できない成果も判断に残す必要があります。", "action": "割付、受付件数、総人時間、品質、追跡期限、欠測、停止権限を比較票へ固定し、費用換算へ渡す測定値を揃えます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-pilot-experiment-design/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-pilot-experiment-design/index.json" }, { "slug": "nudge-scale-evidence", "title": "ナッジは効くのかではなく、どこまで縮むのか", "summary": "メタ分析の訂正、出版バイアス再解析、行政ナッジの大規模試験から、基準率、絶対差、異質性、費用を事前に置く判断へ変えます。", "quickAnswer": { "what": "ナッジの平均効果は介入と領域で異質で、出版バイアスの補正方法により結論が変わります。", "why": "行政の大規模試験では、学術論文より小さい平均効果が報告され、直接外挿は危険です。", "action": "対象行動、基準率、絶対差、実装費、副作用を事前登録し、下限未達なら撤回します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/nudge-scale-evidence/", "machineReadableUrl": "https://catalysphere.co.jp/articles/nudge-scale-evidence/index.json" }, { "slug": "ai-label-creative-evaluation", "title": "AI作品というラベルは、作品そのものを評価しているか", "summary": "同じ作品でもAI生成と示すと評価が変わる実験から、内容のブラインド評価と、来歴・権利・制作過程の適格性審査を分けます。", "quickAnswer": { "what": "人は一部の詩や画像でAI生成を正確に識別できず、内容と推定来歴を混同します。", "why": "同じ作品でもAIラベルが付くと、品質、技能、価値の評価が下がる条件があります。", "action": "内容のブラインド評価と来歴審査を二段階にし、必要な開示を隠すことなくラベル効果を監査します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-label-creative-evaluation/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-label-creative-evaluation/index.json" }, { "slug": "recommender-systems-wellbeing", "title": "おすすめの目的を、滞在時間だけにしない", "summary": "推薦方式が露出と利用を変えても態度効果は一様でない証拠から、情報多様性、信頼性、時間利用、福祉を分けたランキング評価を作ります。", "quickAnswer": { "what": "フィード順位を変えると利用時間と露出は変わっても、短期の態度が必ず変わるとは限りません。", "why": "知識、分極化、福祉、利用量には正負の異なる効果があり、単一KPIでは評価できません。", "action": "ランキング変更前に複数の成果と悪化下限を固定し、平均エンゲージメントで相殺しません。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/recommender-systems-wellbeing/", "machineReadableUrl": "https://catalysphere.co.jp/articles/recommender-systems-wellbeing/index.json" }, { "slug": "multi-agent-debate-reliability", "title": "AIを何人集めても、独立した知恵にはならない", "summary": "複数LLMの討議を票数で信頼せず、初期回答の多様性、同調、問題逸脱、正答保持、単純投票との差から上乗せ価値を判定します。", "quickAnswer": { "what": "同じモデル由来の複数回答は誤りが相関し得るため、エージェント数を独立な証拠数にできません。", "why": "議論は一部課題で改善しても、同調や問題逸脱により当初の正答を失うことがあります。", "action": "単一推論、自己一貫性、多数決と同じ予算で比べ、明確な上乗せがある条件だけ採用します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/multi-agent-debate-reliability/", "machineReadableUrl": "https://catalysphere.co.jp/articles/multi-agent-debate-reliability/index.json" }, { "slug": "model-editing-side-effects", "title": "LLMの知識を直すと、別の能力まで壊れるのか", "summary": "知識編集の対象正答だけで成功とせず、言い換え、局所性、一般能力、連続編集後の忘却を測り、RAGや再学習へ切り替える境界を作ります。", "quickAnswer": { "what": "編集した質問へ新しい答えが出ても、無関係な能力と既存知識が保たれたとは限りません。", "why": "編集を重ねると一般能力の劣化や忘却が蓄積し得るため、単発の成功率では承認できません。", "action": "対象成功、言い換え、局所性、一般能力を同時に測り、最低条件を下回った場合に別方式へ切り替えます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/model-editing-side-effects/", "machineReadableUrl": "https://catalysphere.co.jp/articles/model-editing-side-effects/index.json" }, { "slug": "machine-unlearning-verification", "title": "AIが忘れたと、どう証明するのか", "summary": "削除APIの完了を忘却の証拠にせず、再学習モデルを基準に、対象記憶、保持効用、漏えい、連続削除を多面的に検証します。", "quickAnswer": { "what": "対象質問に答えなくなっただけでは、学習データの影響や漏えい可能性が消えた証明になりません。", "why": "忘却、保持効用、プライバシー、連続削除を、対象データなしで再学習したモデルと比較します。", "action": "保証が足りない案件では近似削除を完全削除と表現せず、再学習やモデル廃棄を選択肢に残します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/machine-unlearning-verification/", "machineReadableUrl": "https://catalysphere.co.jp/articles/machine-unlearning-verification/index.json" }, { "slug": "multilingual-llm-equity", "title": "多言語AIの平均点は、言語間の不公平を隠す", "summary": "翻訳ベンチマークの総合点だけで展開せず、文化依存項目、母語話者評価、言語別の最悪性能、救済経路から提供範囲を決めます。", "quickAnswer": { "what": "英語からの翻訳評価だけでは、文化に依存する問いと低資源言語の失敗を見落とし得ます。", "why": "モデル全体の性能向上が、言語間の最悪差を自動的に縮めるとは限りません。", "action": "言語別の正答、棄権、重大失敗、人との評価一致を測り、下限未達の提供を制限します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/multilingual-llm-equity/", "machineReadableUrl": "https://catalysphere.co.jp/articles/multilingual-llm-equity/index.json" }, { "slug": "ai-code-security-review", "title": "AIが書いたコードは、速さと安全を分けて審査する", "summary": "生成コードの生産性を安全性へ読み替えず、脆弱性、利用者の安全認識、静的・動的検査、独立レビューを高影響コードの採用門にします。", "quickAnswer": { "what": "コード生成が速くても、脆弱性が少ないとは限らず、課題や提案選択で結果は変わります。", "why": "利用者が安全だと感じることと、実際の脆弱性を検査で減らせたことは別の指標です。", "action": "認証、暗号、入力処理などは、生成元の記録、専用試験、独立レビューを採用条件にします。" }, "updatedAt": "2026-07-24", "url": "https://catalysphere.co.jp/articles/ai-code-security-review/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-code-security-review/index.json" }, { "slug": "llm-abstention-uncertainty", "title": "答えない能力を、LLMの品質に含める", "summary": "正答率だけで推測を促さず、意味的不確実性、答えられない問い、誤答と棄権の損失から、回答・確認・停止の境界を設計します。", "quickAnswer": { "what": "正答率だけを最大化すると、知らない場合にも棄権せず推測する方が有利になり得ます。", "why": "不確実性指標は一部の作話を検出しても、すべての事実誤りを識別する保証ではありません。", "action": "カバレッジごとの正確性と、誤答・棄権・人確認の損失を同時に比較して閾値を決めます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/llm-abstention-uncertainty/", "machineReadableUrl": "https://catalysphere.co.jp/articles/llm-abstention-uncertainty/index.json" }, { "slug": "benchmark-contamination-detection", "title": "そのベンチマーク得点は、未見能力を測っているか", "summary": "公開テスト集合の学習混入を、データ重複、補完挙動、例の順序、公開時点から多面的に調べ、疑わしい得点を意思決定から隔離します。", "quickAnswer": { "what": "公開ベンチマークの高得点は、テスト例や近似例が学習済みなら未見能力の証拠になりません。", "why": "単一の検査で断定せず、データ側の重複とブラックボックスの挙動を組み合わせて疑義を評価します。", "action": "疑わしい得点は別区分にし、公開後作成・非公開・時間分割の評価で再確認します。" }, "updatedAt": "2026-07-24", "url": "https://catalysphere.co.jp/articles/benchmark-contamination-detection/", "machineReadableUrl": "https://catalysphere.co.jp/articles/benchmark-contamination-detection/index.json" }, { "slug": "llm-as-judge-bias", "title": "LLMを審査員にするとき、誰が審査員を監査するのか", "summary": "LLM評価者の人との一致率だけを信じず、回答順序、冗長性、自己選好、難例を反転させる監査から、人評価へ戻す境界を作ります。", "quickAnswer": { "what": "LLM評価者は平均では人と一致しても、回答の順序や長さなど内容以外の特徴で判定が変わり得ます。", "why": "簡単な比較だけでなく、正解が既知で誤りが微妙な難例を使って識別力を測る必要があります。", "action": "順序反転、匿名化、複数評価者、不一致時の人再審査を評価パイプラインへ組み込みます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/llm-as-judge-bias/", "machineReadableUrl": "https://catalysphere.co.jp/articles/llm-as-judge-bias/index.json" }, { "slug": "long-context-reliability", "title": "長文AIは公称上限で承認しない――位置・根拠・費用で実効長を決める", "summary": "長文AIの導入責任者が、位置・問題型・ノイズを変え、全文・分割・検索の最悪品質と総確認費から自動化できる範囲を決める方法を示します。", "quickAnswer": { "what": "入力上限は、長い文書のどの位置からも必要根拠を安定して使える保証ではありません。", "why": "単純な文字列探索と、離れた複数根拠を結ぶ業務推論を別々に評価する必要があります。", "action": "全文投入、分割、検索を同じ問題集合で比べ、品質下限と総確認費を満たす範囲だけを承認します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/long-context-reliability/", "machineReadableUrl": "https://catalysphere.co.jp/articles/long-context-reliability/index.json" }, { "slug": "ai-misinformation-correction-design", "title": "会話AIによる訂正は、訂正後の記憶と行動まで測る", "summary": "個別化された訂正対話の可能性と、LLM自身の認識限界、警告後も残る影響、効果減衰を統合し、一次根拠に固定した訂正手順を示します。", "quickAnswer": { "what": "会話AIは限定された実験で誤信念を下げ得ますが、モデル自身に真偽判定と訂正内容を一任できるほど証拠は揃っていません。", "why": "LLMは事実・知識・信念の区別を誤り、警告だけでは偽映像の影響が残り、訂正効果も時間とともに減衰し得るためです。", "action": "訂正対象と一次根拠を人が固定し、直後の同意、保持、行動、正しい情報への過剰不信を分けて測り、誤訂正時は即時撤回します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-misinformation-correction-design/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-misinformation-correction-design/index.json" }, { "slug": "chain-of-thought-auditability", "title": "AIの思考過程は、監査証跡ではなく調査仮説である", "summary": "Chain-of-Thoughtの流暢さを内部判断の再現とみなさず、回答精度、因果的な忠実性、隠れた手掛かり、実行ログを分けた監査設計を示します。", "quickAnswer": { "what": "表示されたChain-of-Thoughtは調査の手掛かりにはなりますが、モデル内部の判断経路を忠実に再現する監査証跡とは限りません。", "why": "結論を変えた選択肢順序や暗黙の手掛かりを説明文が省き、もっともらしい事後合理化を生成する実験証拠があるためです。", "action": "CoTは仮説生成へ限定し、入力、取得根拠、ツール応答、状態差分、独立検算を正本として、忠実性を別試験します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/chain-of-thought-auditability/", "machineReadableUrl": "https://catalysphere.co.jp/articles/chain-of-thought-auditability/index.json" }, { "slug": "ai-generated-text-detection-evidence", "title": "AI文章検出器は、不利益判断の単独証拠にできない", "summary": "AI文章検出器と生成時透かしを分け、言い換え耐性、未知モデル、集団別偽陽性、本人の版履歴と異議申立てまで含む証拠手順を設計します。", "quickAnswer": { "what": "AI文章検出のスコアは生成由来を確定する証明ではなく、高影響な処分では調査開始の一材料に限定すべきです。", "why": "事後検出は言い換え・未知モデル・言語集団で崩れ、生成時透かしも提供者実装・鍵・文章長・改変に依存するためです。", "action": "用途別の偽陽性の上限を置き、版履歴、引用、作業ログ、本人説明を併合し、独立再審査と訂正可能な異議経路を実装します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-generated-text-detection-evidence/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-generated-text-detection-evidence/index.json" }, { "slug": "ai-reliance-calibration-behavioral-science", "title": "説明を増やしても、AIへの依存は正しくならない", "summary": "AIの説明、確信度表示、判断順序、利用者制御は、正しい助言の採用と誤った助言の棄却を本当に両立できるのか。行動実験から条件を整理します。", "quickAnswer": { "what": "AIの説明・透明性・利用者制御は、それ自体では適切な依拠を保証せず、正答採用と誤答棄却を別々に測る必要があります。", "why": "説明が検証コストを下げ、利用者に独立知識があり、不確実性が実際の正答確率と結び付くときに校正へ寄与しやすいためです。", "action": "説明なし、常時説明、条件付き説明、先行判断・強制停止を比較し、過信と過少利用の両方が下がった設計だけを採用します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-reliance-calibration-behavioral-science/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-reliance-calibration-behavioral-science/index.json" }, { "slug": "ai-behavior-change-coaching", "title": "AIコーチの効果は、支援終了後の行動で測る", "summary": "会話が続いたことと、現実の行動が持続したことは別です。会話型コーチのメタ分析と実地RCTから、短期反応を行動変容と誤認しない評価設計を整理します。", "quickAnswer": { "what": "会話型AIは短期の生活行動を改善し得ますが、長期に残る現実行動への効果はまだ限定条件つきです。[1][2]", "why": "接触回数、満足度、意図、自己申告の短期変化は、客観的な行動や支援終了後の維持を代替しないためです。[3][4]", "action": "対照群、客観指標、離脱者、支援撤去後の追跡を先に固定し、行動技法ごとに小さく検証します。" }, "updatedAt": "2026-07-24", "url": "https://catalysphere.co.jp/articles/ai-behavior-change-coaching/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-behavior-change-coaching/index.json" }, { "slug": "kpi-goodharts-law", "title": "KPIはなぜ壊れるのか：Goodhartの法則を運用に落とす", "summary": "指標が目標になると現場が悪くなる、で話を終えません。測りやすい仕事への偏り、ゲーミング、実際の改善を分け、壊れにくい運用を設計します。", "quickAnswer": { "what": "KPIの問題は数値化そのものではなく、測れる一側面へ報酬と注意を集中させ、目的全体を代理させることです。", "why": "強い目標は成果を動かし得る一方、測りにくい仕事の放置、操作、対象外へのしわ寄せも誘発するためです。", "action": "主指標に品質・分布・長期影響の対抗指標を組み合わせ、監査と現場の異議で定期的に改廃します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/kpi-goodharts-law/", "machineReadableUrl": "https://catalysphere.co.jp/articles/kpi-goodharts-law/index.json" }, { "slug": "data-quality-decision-errors", "title": "データ品質の欠陥は、どこで意思決定の誤りに変わるのか", "summary": "データ品質を正確さだけで捉えず、意味、代理指標、現場の修正経路まで追うことで、数字が判断ミスへ変わる場所を特定します。", "quickAnswer": { "what": "データ品質とは、正確さだけでなく、判断に必要な文脈・表現・アクセスまで含む適合性です。", "why": "不適切な代理指標や上流の妥協は、モデルが高精度でも特定の人や状況へ誤りを集中させるためです。", "action": "重要判断から逆算し、定義、代理指標、欠損、現場の修正、結果までを一つの品質台帳で管理します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/data-quality-decision-errors/", "machineReadableUrl": "https://catalysphere.co.jp/articles/data-quality-decision-errors/index.json" }, { "slug": "llm-evaluation-production", "title": "公開ベンチマーク一位でも、本番品質は決まらない", "summary": "単一ベンチマークの順位だけでは、本番の品質、安定性、費用、安全性を判断できません。多面的評価、人とLLMの採点、プロンプト感度の研究から評価設計を組み直します。", "quickAnswer": { "what": "公開ベンチマークは候補を絞る材料ですが、自社の本番品質をそのまま予測する保証にはなりません。", "why": "評価する課題、採点者、プロンプト、利用者、失敗コストが変わると、同じモデルの順位や評価幅も変わるためです。", "action": "代表業務、複数指標、プロンプト変種、人手校正、運用中の再評価を一つの評価契約として固定します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/llm-evaluation-production/", "machineReadableUrl": "https://catalysphere.co.jp/articles/llm-evaluation-production/index.json" }, { "slug": "rag-grounding-reliability", "title": "RAGは、生成AIの事実性をどこまで改善できるのか", "summary": "検索で根拠を渡せば誤りが消える、とは限りません。検索漏れ、根拠との不一致、長い文脈での見落としを分け、RAGを業務で検証する方法を整理します。", "quickAnswer": { "what": "RAGは外部知識への導線を作れますが、回答が取得根拠に忠実であることまでは現時点でも十分には保証しません。", "why": "検索の再現率、取得文書の質、根拠の配置、生成時の忠実性という別々の失敗が直列につながるためです。", "action": "検索・根拠利用・最終回答を別々に採点し、答えられない質問を安全に保留できる基準を先に決めます。" }, "updatedAt": "2026-07-24", "url": "https://catalysphere.co.jp/articles/rag-grounding-reliability/", "machineReadableUrl": "https://catalysphere.co.jp/articles/rag-grounding-reliability/index.json" }, { "slug": "ai-coding-productivity-context", "title": "AIコーディングは、いつ開発を速め、いつ遅くするのか", "summary": "AIコーディングの平均効果だけでは投資判断できない。実験室、企業、成熟OSSの研究を比較し、速度を左右する仕事・人・測定の条件を整理します。", "quickAnswer": { "what": "AIコーディングは、仕様が明確で検証しやすい仕事を速めても、文脈の深い保守を遅らせる場合があります。", "why": "出力の生成時間だけでなく、説明、待機、検証、レビュー、修正の負担が仕事ごとに異なるためです。", "action": "業務を検証容易性と文脈量で分け、着手からマージ後の再作業までをAIあり・なしで比べます。" }, "updatedAt": "2026-07-24", "url": "https://catalysphere.co.jp/articles/ai-coding-productivity-context/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-coding-productivity-context/index.json" }, { "slug": "generative-ai-learning-design", "title": "生成AIは学習を深めるのか、支援中の成績を上げるだけか", "summary": "生成AIを使って解けたことと、AIなしでも解けることは同じではありません。メタ分析と教育実験から、支援中の成績、独力の再現、長期保持を分ける学習設計を考えます。", "quickAnswer": { "what": "生成AIは練習中の成果を上げても、理解、保持、別課題への転移まで改善するとは限りません。", "why": "答えを早く得る支援は認知負荷を下げる一方、必要な思考と誤りから学ぶ機会も減らし得るためです。", "action": "ヒントを段階化し、AIなしの直後試験と遅延試験を設け、支援中の成績と学習を分けて測ります。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/generative-ai-learning-design/", "machineReadableUrl": "https://catalysphere.co.jp/articles/generative-ai-learning-design/index.json" }, { "slug": "llm-professional-decision-quality", "title": "生成AIの助言で、専門家の判断は良くなるのか", "summary": "医師を対象にした無作為化試験と臨床研究の統合結果から、生成AIの助言が判断を改善する条件と、アクセスだけでは効果が出ない理由を整理します。", "quickAnswer": { "what": "生成AIの助言は専門家の判断を自動的には改善せず、課題と使い方によって利益も害も生じます。", "why": "AI単独の性能が高くても、人が誤った助言を見抜けるか、画面が検証を促すかで協働結果が変わるためです。", "action": "AIあり・なしを同じ症例で比較し、正答、時間、見逃し、訂正率を分けて導入可否を判断します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/llm-professional-decision-quality/", "machineReadableUrl": "https://catalysphere.co.jp/articles/llm-professional-decision-quality/index.json" }, { "slug": "generative-ai-roi-design", "title": "生成AIのROIは、導入前の設計で決まる", "summary": "研究が示す生産性向上を、そのまま事業価値と見なさない。時間、品質、正答、利用コストを業務単位で接続するROI設計を考えます。", "quickAnswer": { "what": "生成AIのROIは、短縮時間だけでなく品質、再作業、総コストを含む業務成果で判断します。", "why": "同じAIでも、業務の難易度、利用者の熟練度、確認工程によって効果が反転し得るためです。", "action": "導入前に業務単位の基準値と継続・停止条件を固定し、小さな比較検証から始めます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/generative-ai-roi-design/", "machineReadableUrl": "https://catalysphere.co.jp/articles/generative-ai-roi-design/index.json" } ] }