{ "schemaVersion": "1.0", "language": "ja", "canonicalUrl": "https://catalysphere.co.jp/articles/llm-abstention-uncertainty/", "machineReadableUrl": "https://catalysphere.co.jp/articles/llm-abstention-uncertainty/index.json", "publisher": { "name": "Catalysphere", "url": "https://catalysphere.co.jp/", "description": "AIとビッグデータを研究し、実務へつなぐリサーチ＆コンサルティングスタジオ。" }, "article": { "slug": "llm-abstention-uncertainty", "title": "答えない能力を、LLMの品質に含める", "titlePhrases": [ "答えない能力を、", "LLMの品質に含める" ], "summary": "正答率だけで推測を促さず、意味的不確実性、答えられない問い、誤答と棄権の損失から、回答・確認・停止の境界を設計します。", "takeaways": [ "正答率だけを最大化すると、知らない場合にも棄権せず推測する方が有利になり得ます。", "不確実性指標は一部の作話を検出しても、すべての事実誤りを識別する保証ではありません。", "カバレッジごとの正確性と、誤答・棄権・人確認の損失を同時に比較して閾値を決めます。" ], "publishedAt": "2026-07-16", "updatedAt": "2026-10-01", "readingMinutes": 12, "topics": [ "LLM評価", "意思決定", "信頼性" ], "domains": [ "generative-ai", "governance-risk" ], "evidenceKind": "research-review", "status": "published", "image": { "prompt": "Abstract scientific editorial illustration for the research question “答えない能力を、LLMの品質に含める”, interpreted symbolically rather than typographically: a branching signal field with explicit verification gates, separating an unstable dashed route from a resilient and recoverable gold route; deep Catalysphere navy and indigo field, muted scientific blue, restrained antique-gold structure, translucent geometry, fine particles, subtle paper grain, generous negative space, one clear centered metaphor that survives a narrow mobile cover crop, calm premium research-journal art direction, no readable text, no logo, no literal chart, no photorealistic people.", "negativePrompt": "text, letters, numerals, watermark, logo, dashboard UI, humanoid robot, server rack, binary rain, stock-photo office, literal quantitative chart, red alarm graphics, neon cyberpunk, purple gradient, clutter", "alt": "分岐する信号場を検証点が選別し、不安定な経路と復旧可能な金色の経路を分ける抽象図", "aspectRatio": "16:9", "assetPath": "article-art/llm-abstention-uncertainty.png", "status": "approved" }, "lead": "LLMが毎回流暢に答えることは、サービス体験としては滑らかです。しかし、必要な情報がない問い、前提が矛盾する問い、モデルが知らない問いまで答えさせれば、流暢さが誤りを隠します。品質は正答した割合だけでなく、答えるべきでない時に止まれたかを含みます。", "sections": [ { "heading": "正答率が推測を報いる構造を知る", "paragraphs": [ "Kalaiらは、一般的なベンチマークで用いられる正答率型の評価が、分からないと表明するより当てずっぽうで答える行動を報いる構造を論じ、モデルにもその傾向が現れることを示しました。[3] 評価規則は能力を測るだけでなく、望ましい出力を形作ります。", "正答だけを加点し、棄権を誤答と同じ零点にすれば、少しでも当たる可能性がある推測が有利です。これはモデルの性格ではなく採点設計の帰結です。高影響業務では、誤答の損失が棄権の遅延より大きい場合があります。", "まず答え、棄権、人確認の三つを正式な出力として定義します。棄権を失敗ログの外へ追い出さず、適切な棄権と過剰な棄権を分けます。どちらが望ましいかは問いの影響度と確認可能性で変わります。", "受入試験には、正解可能な問いだけでなく、情報不足、将来事象、矛盾前提、組織外の権限判断を含めます。答えられない例を明示しない評価では、棄権能力を測れません。" ], "bullets": [ "回答：十分な根拠があり、品質下限を満たす", "確認：追加情報または人の判断で解ける", "棄権：現在の入力と権限では安全に答えられない", "停止：誤答影響が大きく、後続処理へ進めない" ] }, { "heading": "意味の揺れから作話を検出する", "paragraphs": [ "Farquharらは、同じ問いへの複数回答を意味のまとまりへ分け、その不確実性を測るsemantic entropyで作話を検出する方法を示しました。[1] 表面的な語の違いではなく、回答の意味が安定しているかを見る点に価値があります。", "ただし、この方法が狙うのは主にモデルが答えを知らず一貫しない作話です。モデルが同じ誤情報を確信して繰り返す場合、意味は安定していても事実は誤っています。[1] 低い不確実性を正しさの証明にしません。", "複数回の生成と意味分類には追加費用があります。すべての問いへ適用せず、誤答影響が大きい領域、根拠が乏しい問い、モデル間で答えが割れる問いへ重点配分します。分類器自体の誤りも評価します。", "不確実性スコアは利用者へ生の数値で見せるだけでは不十分です。どの追加情報が必要か、どこへ確認を依頼したか、暫定回答を使ってよいかを行動へ翻訳します。" ] }, { "heading": "答えられない問いを独立に評価する", "paragraphs": [ "AbstentionBenchは、答えられない質問を含む複数のデータセットで推論モデルを調べ、モデル規模の拡大だけでは棄権問題が解決しないことを報告しました。[2] 推論を長くすることと、不足情報を認識して止まることは別能力です。", "答えられない問いには種類があります。正解が存在しない、提示情報から決まらない、質問が曖昧、前提が偽、権限上答えてはいけない。種類を混ぜると、改善策と責任者が分からなくなります。", "モデルが『分かりません』と書けば合格ではありません。何が不足し、何を追加すれば答えられ、代替手順は何かを確認します。もっともらしい不足理由を後付けする場合もあるため、既知の欠落条件と照合します。", "過剰棄権も測ります。安全な問いまで大量に人へ送れば、待ち時間と担当者負荷が増え、利用者が回避策を取るかもしれません。棄権率の低さではなく、適切な選別を目標にします。" ], "bullets": [ "情報不足：入力へ必要事実がない", "前提不良：矛盾または偽の前提を含む", "境界外：モデル・業務・権限の対象外である", "過剰棄権：答えられる問いを不要に人へ送る" ] }, { "heading": "カバレッジ曲線で閾値を選ぶ", "paragraphs": [ "不確実性の高い例を除くと回答範囲は狭くなりますが、残った回答の正確性が上がるかは、指標の識別性能によります。そこで閾値ごとに、回答した割合であるカバレッジと、その中の正確性を並べます。一つの最適閾値が全業務に共通するとは考えません。", "契約検索の案内と、支払い停止の判断では誤答コストが違います。前者は追加確認を促す回答を広く出せても、後者は低いカバレッジを受け入れて人へ送る方がよい場合があります。影響度別の曲線を作ります。", "閾値は評価集合で固定した後、別の保留集合で確認します。同じデータで指標と閾値を選ぶと、見かけの性能が良くなります。言語、文書型、利用者群で曲線がずれるかも確認します。", "モデル更新後はスコア分布が変わり得ます。旧閾値を自動継承せず、回答量の急増、棄権の消失、人送付率の変化を監視します。閾値変更もモデル変更と同じ承認対象にします。" ] }, { "heading": "損失を三方向で見積もる", "paragraphs": [ "誤答には再作業、顧客損失、法的影響があります。棄権には待ち時間、機会損失、利用離脱があります。人確認には専門家時間と滞留があります。三つの損失を同じ案件区分で見積もらなければ、棄権を増やすべきか判断できません。", "平均費用だけでなく重大な尾部損失を分けます。頻度は低くても不可逆な誤答は、平均金額へ薄めません。停止すべき領域を先に指定し、その外側で費用比較を行います。", "人確認の品質も固定ではありません。大量の棄権が一つの窓口へ集まれば、確認者が疲弊し、処理が浅くなる可能性があります。送付件数、期限超過、覆り率を監視し、モデル側の改善だけでなく容量を調整します。", "利用者が回答を求め直して棄権を回避できるかも試します。表現を少し変えるだけで危険な回答が出るなら、単一ターンの閾値は統制になりません。会話履歴を含む再試行単位で評価します。" ] }, { "heading": "棄権後の行動まで設計する", "paragraphs": [ "棄権メッセージは責任回避の定型文ではなく、次の安全な行動を示す必要があります。確認すべき資料、追加できる情報、連絡先、緊急時の経路を提示し、利用者が袋小路へ入らないようにします。", "根拠が追加された後に回答へ戻る条件を決めます。人が一度確認したから永久に自動化せず、同じ前提と文書版であることを確かめます。例外判断を学習データへ入れる場合は、権利と機密を別途確認します。", "監査では、正答率、適切棄権、過剰棄権、誤答の重大度、人確認時間、再試行による回避を報告します。単に『自信度を表示した』ことを統制の完了にしません。", "答えない能力は、モデルだけの機能ではありません。評価規則、業務の損失、確認者の容量、利用者への導線を結んだ運用能力です。その結合系が下限を守る範囲だけで回答を自動化します。" ], "visual": { "kind": "decision", "eyebrow": "判断と証拠の関係", "title": "棄権の後を、追加根拠と人の容量へつなぐ", "caption": "Catalysphereによる未検証の運用・測定設計案です。研究の実測値や導入効果を表した図ではなく、自社条件で検証する判断関係を示します。", "provenance": "catalysphere-authored", "stopRule": "重大な誤答が許容範囲外なら回答を止める。低い不確実性だけで解除しない。", "steps": [ { "id": "s0", "question": "現在の根拠と権限で答えられるか", "continueLabel": "損失条件へ", "branches": [ { "condition": "情報不足・矛盾・範囲外", "state": "hold", "label": "確認先を示す", "detail": "不足資料と追加条件を具体化" } ] }, { "id": "s1", "question": "回答・棄権・人確認の損失と容量が基準内か", "continueLabel": "条件付き回答へ", "branches": [ { "condition": "確認容量超過または誤答影響が大きい", "state": "stop", "label": "安全な代替手順", "detail": "専門家の待ち時間も判断対象にする" }, { "condition": "損失・確認容量が未測定", "state": "hold", "label": "基準確認まで保留", "detail": "未測定を許容範囲内と扱わない" } ] } ], "result": { "label": "限定回答", "detail": "未使用の評価集合で確認した閾値と業務条件の範囲だけ回答" } } }, { "heading": "覆りから棄権規則を更新する", "paragraphs": [ "人確認でモデルの棄権が覆り、安全に回答できた例は、過剰棄権の改善材料です。反対に、回答を人が差し止めた例は見逃しです。両方を同じ台帳へ戻し、モデルだけでなく閾値と入力要件を更新します。", "覆り率は人が常に正しいという前提で使いません。専門家同士の不一致、根拠更新、後から判明した結果を追跡し、基準ラベルを改訂します。ラベル変更前後の評価を混ぜず、版ごとに報告します。", "棄権理由の自由文だけでは集計できません。情報不足、矛盾、範囲外、安全制約、不確実性、システム障害へ分類し、利用者へ示した理由と内部判定の整合を確認します。", "特定利用者や言語で棄権が集中する場合、質問品質だけに原因を帰しません。モデル能力、入力画面、参照データ、評価閾値の差を調べ、代替経路の完了時間も比較します。", "定期レビューでは、自動回答を増やした件数ではなく、重大誤答を増やさず過剰棄権を減らせたかを判定します。改善できない領域は、人中心の手順を恒久的な設計として残します。" ] } ], "note": "semantic entropyは作話検出、AbstentionBenchは答えられない質問、Kalaiらは評価インセンティブを扱い、同じ棄権方法を直接比較していません。[1] [2] [3] 不確実性が低くても誤答は残り、損失の大きい領域では独立した根拠確認が必要です。表示する自信度や閾値は、利用者集団と業務損失が変わるたびに必ず再評価してください。継続監査が必要です。", "sources": [ { "id": 1, "authors": "Sebastian Farquhar et al.", "year": 2024, "title": "Detecting hallucinations in large language models using semantic entropy", "venue": "Nature, 630, 625–630", "url": "https://doi.org/10.1038/s41586-024-07421-0", "finding": "複数回答を意味のまとまりへ分けたsemantic entropyが、複数の課題とモデルで作話検出に有用であることを示した。", "limitation": "主に知識不足から生じる不整合な作話を対象とし、一貫した誤信念や全種類の事実誤りを検出しない。" }, { "id": 2, "authors": "Polina Kirichenko et al.", "year": 2025, "title": "AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions", "venue": "Advances in Neural Information Processing Systems 38, Datasets and Benchmarks Track", "url": "https://proceedings.neurips.cc/paper_files/paper/2025/hash/fb122bfc3f0127a94ded048b5b03496f-Abstract-Datasets_and_Benchmarks_Track.html", "finding": "答えられない質問を含む広い評価で、規模拡大や推論調整だけでは適切な棄権が確立しないことを示した。", "limitation": "構成されたデータセット評価であり、実業務の誤答・棄権・人確認コストを直接測らない。" }, { "id": 3, "authors": "Adam Tauman Kalai et al.", "year": 2026, "title": "Evaluating large language models for accuracy incentivizes hallucinations", "venue": "Nature", "url": "https://doi.org/10.1038/s41586-026-10549-w", "finding": "正答率型の評価が棄権より推測を報いる構造を分析し、誤答費用を反映した評価の必要性を示した。", "limitation": "評価インセンティブの分析で、個別業務に最適な閾値や人への引継ぎ設計を直接与えない。" } ], "visual": { "eyebrow": "UNCERTAINTY / ABSTENTION", "title": "自信の数字より、答えない境界を作る。", "caption": "各研究の観測条件は異なります。横並びの優劣ではなく、評価設計と運用判断の出発点として参照してください。", "metrics": [ { "value": "SEMANTIC ENTROPY", "label": "意味のまとまりで作話を検出", "source": "Farquhar et al., 2024", "referenceId": 1 }, { "value": "SCALE ≠ ABSTAIN", "label": "規模拡大だけでは整わない棄権", "source": "Kirichenko et al., 2025", "referenceId": 2 }, { "value": "ERROR COST", "label": "誤答費用を反映する評価設計", "source": "Kalai et al., 2026", "referenceId": 3 } ] }, "url": "https://catalysphere.co.jp/articles/llm-abstention-uncertainty/", "machineReadableUrl": "https://catalysphere.co.jp/articles/llm-abstention-uncertainty/index.json", "topicFacets": [ { "id": "evaluation-measurement", "name": "評価・測定", "url": "https://catalysphere.co.jp/topics/evaluation-measurement/" }, { "id": "decision-science", "name": "意思決定", "url": "https://catalysphere.co.jp/topics/decision-science/" }, { "id": "model-operations", "name": "モデル運用", "url": "https://catalysphere.co.jp/topics/model-operations/" } ] } }