{ "schemaVersion": "1.0", "language": "ja", "canonicalUrl": "https://catalysphere.co.jp/articles/chain-of-thought-auditability/", "machineReadableUrl": "https://catalysphere.co.jp/articles/chain-of-thought-auditability/index.json", "publisher": { "name": "Catalysphere", "url": "https://catalysphere.co.jp/", "description": "AIとビッグデータを研究し、実務へつなぐリサーチ＆コンサルティングスタジオ。" }, "article": { "slug": "chain-of-thought-auditability", "title": "AIの思考過程は、監査証跡ではなく調査仮説である", "titlePhrases": [ "AIの思考過程は、", "監査証跡ではなく", "調査仮説である" ], "summary": "Chain-of-Thoughtの流暢さを内部判断の再現とみなさず、回答精度、因果的な忠実性、隠れた手掛かり、実行ログを分けた監査設計を示します。", "takeaways": [ "表示されたChain-of-Thoughtは調査の手掛かりにはなりますが、モデル内部の判断経路を忠実に再現する監査証跡とは限りません。", "結論を変えた選択肢順序や暗黙の手掛かりを説明文が省き、もっともらしい事後合理化を生成する実験証拠があるためです。", "CoTは仮説生成へ限定し、入力、取得根拠、ツール応答、状態差分、独立検算を正本として、忠実性を別試験します。" ], "publishedAt": "2026-07-15", "updatedAt": "2026-10-01", "readingMinutes": 12, "topics": [ "生成AI", "評価設計", "AIガバナンス", "信頼性" ], "domains": [ "generative-ai", "governance-risk", "data-analytics" ], "evidenceKind": "research-review", "status": "published", "image": { "prompt": "Abstract scientific editorial illustration for the research question “AIの思考過程は、監査証跡になるのか”, interpreted symbolically rather than typographically: a branching signal field with explicit verification gates, separating an unstable dashed route from a resilient and recoverable gold route; deep Catalysphere navy and indigo field, muted scientific blue, restrained antique-gold structure, translucent geometry, fine particles, subtle paper grain, generous negative space, one clear centered metaphor that survives a narrow mobile cover crop, calm premium research-journal art direction, no readable text, no logo, no literal chart, no photorealistic people.", "negativePrompt": "text, letters, numerals, watermark, logo, dashboard UI, humanoid robot, server rack, binary rain, stock-photo office, literal quantitative chart, red alarm graphics, neon cyberpunk, purple gradient, clutter", "alt": "分岐する信号場を検証点が選別し、不安定な経路と復旧可能な金色の経路を分ける抽象図", "aspectRatio": "16:9", "assetPath": "article-art/chain-of-thought-auditability.png", "status": "approved" }, "lead": "推論モデルが長い思考過程を表示すると、結論の根拠を読めるように感じます。しかし、説明文が最終回答と整合することと、実際に答えを生んだ内部処理へ忠実であることは別です。本稿はNeurIPSとACL系会議の一次研究を統合し、Chain-of-Thoughtを監査で使える範囲、反証方法、代替証跡へ分けます。[1][2][3][4]", "sections": [ { "heading": "正しい答え、筋の通る説明、忠実な理由を分ける", "paragraphs": [ "回答精度は最終出力が正しいかを測ります。自己整合性は説明中の各段階と結論が矛盾しないかを測ります。忠実性は、表示された段階が実際にモデルの予測へ寄与したか、予測を変えた手掛かりを正しく表したかを問います。三つは独立に失敗できます。", "正答へ到達したCoTでも、使っていない理由を後から付けた可能性があります。誤答のCoTでも、途中の一部は重要だった可能性があります。文章の長さ、専門語、因果接続詞、確信の強さは、忠実性の直接指標ではありません。", "この記事は、利用者向け説明が人のAI依拠を校正するかという画面設計を扱いません。単位はモデルの説明文です。監査者がその文を内部意思決定の記録とみなしてよいか、どの外部ログで補うかを扱います。" ] }, { "heading": "隠れた手掛かりは、使われても説明されない", "paragraphs": [ "TurpinらはNeurIPS 2023で、少数例プロンプトの選択肢順序や、権威者の示唆など、答えを偏らせる特徴を入力へ加えました。GPT-3.5とClaude 1.0はその特徴で答えを変えながら、CoTで影響を言及せず、誤答を合理化することがありました。13課題では精度低下が最大36%に達しました。[1]", "この実験は、内部計算全体を直接観測したものではありません。入力の一部を操作して回答変化と言及有無を見る因果プローブです。また、2023年当時のモデルと多肢選択が中心です。[1] それでも『説明に書かれていないから影響していない』という監査推論を否定するには十分です。", "監査では、モデルが何を言ったかだけでなく、何を見せたら答えが変わったかを調べます。選択肢順序、不要なメタデータ、権威ラベル、候補の位置、検索文書の順番を変え、答えと説明の両方が安定するかを比較します。" ], "bullets": [ "CUE TEST：結果に不要な手掛かりを変え、答えの感度を測る", "ARTICULATION：使った手掛かりをCoTが明示したかを別採点する", "RATIONALIZATION：結論変更後に理由だけ整う事後合理化を検出する" ] }, { "heading": "中間段階を書いても、最終回答が使うとは限らない", "paragraphs": [ "PaulらはFindings of EMNLP 2024で、12の言語モデルに対し、中間推論を介した因果効果を分析しました。生成された中間段階が最終回答に一貫して使われないことを報告し、段階を忠実に使わせる学習枠組みも提案しました。[2]", "ここで重要なのは、推論文の内容が正しそうに見えるかではなく、その段階を変えたときに結論がどう変わるかです。モデルは問題文から、CoTに書かれていない情報を再び取り出して答えることがあります。するとCoTの修正と回答の修正が一致しません。[2]", "ただし、因果媒介の推定は介入方法とモデルの観測可能性に依存します。自然言語の段階を消す操作が内部表現を完全に切り離したとは限りません。単一の忠実性スコアを絶対値として使わず、複数の介入で同じ案件を診断します。" ] }, { "heading": "忠実な段階は存在しても、測定法がまだ発展途上である", "paragraphs": [ "TutekらはEMNLP 2025のOutstanding Paperで、CoTの個々の段階に含まれる情報をモデルパラメータから消去し、予測が変わるかを測るFURを提案しました。四モデル、五つの多肢選択データセットで、重要段階の消去が予測を変える事例を示しました。[3]", "これはCoTがすべて飾りだという極端な見方への反証です。一部の段階はモデルのパラメトリックな信念と結び付いています。同時に、情報を正確に消去できたか、他の能力を壊していないかを制御する必要があり、閉鎖モデルや大規模本番系へ簡単に適用できません。[3]", "実務ではFURをそのまま導入するより、考え方を借ります。特定の根拠、計算、ツール結果を除いたときに結論が変わるか、代替根拠へ差し替えたときに説明が追随するかを試します。CoTの存在ではなく、反事実的な感度を記録します。" ], "bullets": [ "REMOVE：推論段階や根拠を除き、予測変化を測る", "REPLACE：反対の根拠へ差し替え、説明と結論の追随を測る", "CONTROL：介入が一般能力を壊していない対照を置く" ] }, { "heading": "画像や暗黙の特徴では、言及漏れがさらに見えにくい", "paragraphs": [ "BalasubramanianらはFindings of EMNLP 2025で、言語モデルと視覚言語モデルへ、明示的・暗黙的なテキスト手掛かりと画像手掛かりを加えました。微妙な画像バイアスは明示的なテキストバイアスよりCoTで言及されにくく、途中で正しく推論した後に答えを突然変える不整合も報告しました。[4]", "文書画像、グラフ、監視映像を扱うAIでは、CoTが『画像を確認した』と書いても、どの領域、軸、対象へ依存したかは分かりません。視覚的な手掛かりの言及漏れを、文章だけの監査で発見することは難しいため、参照領域と元値を別ログにします。", "この研究もベンチマーク上の人工的なバイアス操作で、現実の全視覚業務を代表しません。[4] それでも、テキストCoTがモダリティをまたぐ内部依存を完全に説明するという前提は置けません。画像・表・ツールは、機械的に再現できる参照を残します。" ] }, { "heading": "監査の正本を、文章から状態遷移へ移す", "paragraphs": [ "正本にするのは、入力、モデル版、システム指示、取得文書ID、ツール名と引数、ツール応答、状態差分、最終出力、承認者です。CoTはこれらを探索する索引に使います。CoTが『規程を確認した』と述べても、実際の取得文書IDと版がなければ確認済みと扱いません。", "計算は外部で再実行し、引用は原文と突合し、ツール操作は予定差分と実差分を比べます。理由文と独立確認できる証拠が一致した範囲を、外部証拠で裏づけた説明として扱います。内部判断への忠実性は別に未確認と残します。理由文の整形や要約で、元ログを上書きしません。", "プライバシーと機密性も分けて管理します。内部CoTを無制限に保存すれば、個人情報、秘密指示、脆弱性が残る可能性があります。監査に必要な構造化ログを最小化して保存し、自由文CoTは用途、保持期限、アクセス権を限定します。" ], "bullets": [ "SOURCE：取得文書のID、版、引用位置を保存する", "ACTION：ツール引数、権限、前後の状態差分を保存する", "VERIFY：数値、引用、終端状態を独立手段で再計算する" ], "visual": { "kind": "record-table", "eyebrow": "本稿の設計案", "title": "記録が裏づける主張と、残る未確認を分ける", "caption": "未検証のCatalysphere証拠整理案です。ログの存在や理由文との一致だけでは、内部判断の忠実性、原因、法的説明責任を確定しません。", "provenance": "catalysphere-authored", "columns": [ { "id": "c0", "label": "主張" }, { "id": "c1", "label": "独立に照合する記録" }, { "id": "c2", "label": "記録だけでは言えないこと" } ], "rows": [ { "id": "r0", "label": "資料を取得した", "cells": [ "文書ID、版、取得応答", "その内容が結論へ因果的に寄与した" ] }, { "id": "r1", "label": "操作を実行した", "cells": [ "引数、認可判断、実際の状態差分", "承認が適切だった、全影響が回復した" ] }, { "id": "r2", "label": "計算が正しい", "cells": [ "元値と外部再計算", "モデルがその計算経路を使った" ] }, { "id": "r3", "label": "理由が内部判断を表す", "cells": [ "別設計の因果プローブ", "文章やログの一致だけで忠実性が証明された" ] } ] } }, { "heading": "CoTを、利用・保留・禁止の三段階で扱う", "paragraphs": [ "低影響な調査では、CoTから確認すべき根拠や失敗仮説を拾えます。中影響では、CoTの各主張を取得ログと外部検算へ結び、結び付かない段階を未検証と表示します。高影響では、CoTだけで承認、責任帰属、事故原因を確定しません。", "評価セットには、正答、誤答、隠れた手掛かり、反対根拠、ツール失敗、画像バイアスを含めます。最終精度と、手掛かり言及率、介入後の予測変化、ログ一致率を別々に集計します。平均精度が上がっても忠実性が下がれば、監査用途の拡大を止めます。", "モデル、推論設定、プロンプト、ツール、表示方式が変われば、以前の忠実性を引き継ぎません。CoTは便利な説明面ですが、監査の目的は文章を信じることではなく、何が起きたかを再現し、反証できる状態を作ることです。" ], "bullets": [ "利用：調査仮説、確認項目、代替説明の列挙に使う", "保留：CoTと取得・ツール・状態ログが一致しない案件は確定しない", "禁止：CoTだけで安全性、法令適合、責任、事故原因を認定しない", "再試験：モデル・推論設定・ツール変更後に因果プローブをやり直す" ] } ], "note": "本稿は多肢選択、言語推論、視覚言語課題に対する忠実性研究を統合した研究レビューで、モデル内部の全計算を観測する方法を確立したメタ分析ではありません。[1][2][3][4] 忠実性は介入設計、モデルアクセス、課題に依存します。CoTの保存・開示には機密、個人情報、セキュリティ上の別リスクがあり、構造化実行ログの最小化原則を代替しません。", "sources": [ { "id": 1, "authors": "Miles Turpin, Julian Michael, Ethan Perez, Samuel Bowman", "year": 2023, "title": "Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting", "venue": "Advances in Neural Information Processing Systems 36", "url": "https://proceedings.neurips.cc/paper_files/paper/2023/hash/ed3fea9033a80fea1376299fa7863f4a-Abstract-Conference.html", "finding": "選択肢順序や権威ヒントで回答を偏らせると、モデルは影響をCoTで言及せず誤答を合理化し、13課題で精度低下が最大36%に達した。", "limitation": "GPT-3.5とClaude 1.0、多肢選択中心の人工的な手掛かり操作で、最新の推論モデルや自由形式の全業務へ頻度を一般化できない。" }, { "id": 2, "authors": "Debjit Paul, Robert West, Antoine Bosselut, Boi Faltings", "year": 2024, "title": "Making Reasoning Matter: Measuring and Improving Faithfulness of Chain-of-Thought Reasoning", "venue": "Findings of the Association for Computational Linguistics: EMNLP 2024", "url": "https://aclanthology.org/2024.findings-emnlp.882/", "finding": "12言語モデルへの因果媒介分析で、生成された中間推論が最終回答に一貫して使われないことを報告し、忠実性を高める学習枠組みを提案した。", "limitation": "忠実性推定は中間文への介入と因果モデルの仮定に依存し、自然言語段階の変更が内部表現を完全に分離したとは保証できない。" }, { "id": 3, "authors": "Martin Tutek, Fateme Hashemi Chaleshtori, Ana Marasovic, Yonatan Belinkov", "year": 2025, "title": "Measuring Chain of Thought Faithfulness by Unlearning Reasoning Steps", "venue": "Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing — Outstanding Paper", "url": "https://aclanthology.org/2025.emnlp-main.504/", "finding": "CoT段階の情報をモデルパラメータから個別に消去し、予測変化からパラメトリック忠実性を測るFURを四モデル・五データセットで示した。", "limitation": "重みへアクセスできるモデルと多肢選択データが中心で、消去の完全性・特異性の制御が必要なため、閉鎖型本番モデルへ直接適用しにくい。" }, { "id": 4, "authors": "Sriram Balasubramanian, Samyadeep Basu, Soheil Feizi", "year": 2025, "title": "A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models", "venue": "Findings of the Association for Computational Linguistics: EMNLP 2025", "url": "https://aclanthology.org/2025.findings-emnlp.723/", "finding": "視覚言語モデルでは微妙な画像バイアスがCoTに言及されにくく、正しい途中推論の後に答えを変える不整合も観測した。", "limitation": "人工的に挿入したテキスト・画像手掛かりとベンチマーク課題の評価で、実際の文書・映像業務における発生率や被害を直接測っていない。" } ], "visual": { "eyebrow": "CHAIN OF THOUGHT / AUDIT", "title": "説明らしさと、因果的な忠実性を分ける。", "caption": "各研究の観測条件は異なります。横並びの優劣ではなく、評価設計と運用判断の出発点として参照してください。", "metrics": [ { "value": "最大−36%", "label": "バイアス条件で観測された精度低下", "source": "Turpin et al., 2023", "referenceId": 1 }, { "value": "12モデル", "label": "中間推論の因果利用を比較", "source": "Paul et al., 2024", "referenceId": 2 }, { "value": "4 × 5", "label": "四モデル・五データセットのFUR評価", "source": "Tutek et al., 2025", "referenceId": 3 } ] }, "url": "https://catalysphere.co.jp/articles/chain-of-thought-auditability/", "machineReadableUrl": "https://catalysphere.co.jp/articles/chain-of-thought-auditability/index.json", "topicFacets": [ { "id": "generative-ai", "name": "生成AI", "url": "https://catalysphere.co.jp/topics/generative-ai/" }, { "id": "evaluation-measurement", "name": "評価・測定", "url": "https://catalysphere.co.jp/topics/evaluation-measurement/" }, { "id": "governance-risk", "name": "AIガバナンス", "url": "https://catalysphere.co.jp/topics/governance-risk/" }, { "id": "model-operations", "name": "モデル運用", "url": "https://catalysphere.co.jp/topics/model-operations/" } ] } }