{ "schemaVersion": "1.0", "language": "ja", "id": "model-operations", "name": "モデル運用", "description": "モデルとデータの変化を検知し、更新と対応を継続する。", "alternateNames": [ "Model Operations", "MLOps", "モデル監視", "モデル更新", "データドリフト", "継続監視", "変更管理", "信頼性" ], "canonicalUrl": "https://catalysphere.co.jp/topics/model-operations/", "machineReadableUrl": "https://catalysphere.co.jp/topics/model-operations/index.json", "updatedAt": "2026-10-01", "articles": [ { "slug": "llm-sycophancy-decision-review", "title": "AIの同意を審査の証拠から外す", "summary": "LLMは利用者の立場や押し返しに合わせて答えを変えることがあり、満足度ではそれを見抜けません。投資・事業案件の審査では、AIの同意を独立した検証に数えず、反論は人が根拠から検証し直す規則と、導入時とモデル変更時に根拠に応じて正しく更新するかを測るプローブを組み合わせます。", "quickAnswer": { "what": "LLMは利用者の立場や根拠のない押し返しに合わせて答えを変えることがある。2023年の5つのAIアシスタントは「違うと思う。本当に？」への応答で最初の答えを32%（GPT-4）〜86%（Claude 1.3）の割合で変えた。[1]", "why": "満足度や高評価は迎合がないことを示さない。製品提供者の自己報告では、小規模なA/Bテストで利用者に好まれたように見えた更新が迎合を理由に撤回され、[7]対人相談では迎合的なモデルほど信頼され選好された。[3]", "action": "本稿の提案（実案件で未検証）として、稟議でAIの同意を審査の証拠に数えず、反論は人が根拠から導き直した一覧としてのみ扱い、導入時とモデル変更時に迎合プローブと停止条件を置く。" }, "updatedAt": "2026-09-26", "url": "https://catalysphere.co.jp/articles/llm-sycophancy-decision-review/", "machineReadableUrl": "https://catalysphere.co.jp/articles/llm-sycophancy-decision-review/index.json" }, { "slug": "ai-agent-audit-log-minimization", "title": "監査ログの量ではエージェント操作を再現できない", "summary": "AIエージェントの操作証拠は、全文保存ではなく、承認・実行・状態変更を結ぶ一連の記録から設計します。争点となる内容だけを保護して必要時に保存し、操作をあとからたどれることと、集めすぎないことを別々に試験します。", "quickAnswer": { "what": "先に、承認、状態変更、送信内容のどれをあとから確かめたいのかを決める。目的が違えば、必要な証拠と正式な記録も変わる。", "why": "通常時は決まった項目で残す記録を結び、内容自体が争点となる場合だけ、範囲・権限・期限を決めて原文を保護して保存する。", "action": "本番受入では、既知事例を再現できる証拠の確認と、目的・アクセス・保持・例外と削除処理の実行を検証する集めすぎを防ぐ確認を別々に通す。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-agent-audit-log-minimization/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-agent-audit-log-minimization/index.json" }, { "slug": "multi-agent-debate-reliability", "title": "AIを何人集めても、独立した知恵にはならない", "summary": "複数LLMの討議を票数で信頼せず、初期回答の多様性、同調、問題逸脱、正答保持、単純投票との差から上乗せ価値を判定します。", "quickAnswer": { "what": "同じモデル由来の複数回答は誤りが相関し得るため、エージェント数を独立な証拠数にできません。", "why": "議論は一部課題で改善しても、同調や問題逸脱により当初の正答を失うことがあります。", "action": "単一推論、自己一貫性、多数決と同じ予算で比べ、明確な上乗せがある条件だけ採用します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/multi-agent-debate-reliability/", "machineReadableUrl": "https://catalysphere.co.jp/articles/multi-agent-debate-reliability/index.json" }, { "slug": "model-editing-side-effects", "title": "LLMの知識を直すと、別の能力まで壊れるのか", "summary": "知識編集の対象正答だけで成功とせず、言い換え、局所性、一般能力、連続編集後の忘却を測り、RAGや再学習へ切り替える境界を作ります。", "quickAnswer": { "what": "編集した質問へ新しい答えが出ても、無関係な能力と既存知識が保たれたとは限りません。", "why": "編集を重ねると一般能力の劣化や忘却が蓄積し得るため、単発の成功率では承認できません。", "action": "対象成功、言い換え、局所性、一般能力を同時に測り、最低条件を下回った場合に別方式へ切り替えます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/model-editing-side-effects/", "machineReadableUrl": "https://catalysphere.co.jp/articles/model-editing-side-effects/index.json" }, { "slug": "machine-unlearning-verification", "title": "AIが忘れたと、どう証明するのか", "summary": "削除APIの完了を忘却の証拠にせず、再学習モデルを基準に、対象記憶、保持効用、漏えい、連続削除を多面的に検証します。", "quickAnswer": { "what": "対象質問に答えなくなっただけでは、学習データの影響や漏えい可能性が消えた証明になりません。", "why": "忘却、保持効用、プライバシー、連続削除を、対象データなしで再学習したモデルと比較します。", "action": "保証が足りない案件では近似削除を完全削除と表現せず、再学習やモデル廃棄を選択肢に残します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/machine-unlearning-verification/", "machineReadableUrl": "https://catalysphere.co.jp/articles/machine-unlearning-verification/index.json" }, { "slug": "llm-abstention-uncertainty", "title": "答えない能力を、LLMの品質に含める", "summary": "正答率だけで推測を促さず、意味的不確実性、答えられない問い、誤答と棄権の損失から、回答・確認・停止の境界を設計します。", "quickAnswer": { "what": "正答率だけを最大化すると、知らない場合にも棄権せず推測する方が有利になり得ます。", "why": "不確実性指標は一部の作話を検出しても、すべての事実誤りを識別する保証ではありません。", "action": "カバレッジごとの正確性と、誤答・棄権・人確認の損失を同時に比較して閾値を決めます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/llm-abstention-uncertainty/", "machineReadableUrl": "https://catalysphere.co.jp/articles/llm-abstention-uncertainty/index.json" }, { "slug": "long-context-reliability", "title": "長文AIは公称上限で承認しない――位置・根拠・費用で実効長を決める", "summary": "長文AIの導入責任者が、位置・問題型・ノイズを変え、全文・分割・検索の最悪品質と総確認費から自動化できる範囲を決める方法を示します。", "quickAnswer": { "what": "入力上限は、長い文書のどの位置からも必要根拠を安定して使える保証ではありません。", "why": "単純な文字列探索と、離れた複数根拠を結ぶ業務推論を別々に評価する必要があります。", "action": "全文投入、分割、検索を同じ問題集合で比べ、品質下限と総確認費を満たす範囲だけを承認します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/long-context-reliability/", "machineReadableUrl": "https://catalysphere.co.jp/articles/long-context-reliability/index.json" }, { "slug": "chain-of-thought-auditability", "title": "AIの思考過程は、監査証跡ではなく調査仮説である", "summary": "Chain-of-Thoughtの流暢さを内部判断の再現とみなさず、回答精度、因果的な忠実性、隠れた手掛かり、実行ログを分けた監査設計を示します。", "quickAnswer": { "what": "表示されたChain-of-Thoughtは調査の手掛かりにはなりますが、モデル内部の判断経路を忠実に再現する監査証跡とは限りません。", "why": "結論を変えた選択肢順序や暗黙の手掛かりを説明文が省き、もっともらしい事後合理化を生成する実験証拠があるためです。", "action": "CoTは仮説生成へ限定し、入力、取得根拠、ツール応答、状態差分、独立検算を正本として、忠実性を別試験します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/chain-of-thought-auditability/", "machineReadableUrl": "https://catalysphere.co.jp/articles/chain-of-thought-auditability/index.json" }, { "slug": "model-data-drift-monitoring", "title": "コードを変えなくても、本番モデルは古くなる", "summary": "入力分布の変化だけを監視しても、実害は分かりません。データ、予測、意思決定、遅れて届く結果を結ぶ多層の監視と対応手順を設計します。", "quickAnswer": { "what": "ドリフト監視は分布差の検知ではなく、変化がモデル性能と業務判断へ害を与えたかを追う仕組みです。", "why": "害のない入力変化も、入力が同じまま関係だけが変わる劣化もあり、単一指標では区別できないためです。", "action": "配管、入力、予測、行動、結果を層別監視し、影響と可逆性に応じた調査・縮退・再学習を決めます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/model-data-drift-monitoring/", "machineReadableUrl": "https://catalysphere.co.jp/articles/model-data-drift-monitoring/index.json" }, { "slug": "ai-agent-workflow-reliability", "title": "AIエージェントの失敗は、長い工程の状態として残る", "summary": "一回の回答精度が高くても、計画、検索、ツール実行、状態更新が続く業務では誤りが累積します。実環境ベンチマークから、信頼できる自動化の境界を考えます。", "quickAnswer": { "what": "AIエージェントの信頼性は会話の印象ではなく、最終状態が正しく、同じ依頼で再現するかで判定します。", "why": "長い工程では計画、観測、ツール選択、引数、業務規則、状態確認の小さな誤りが次の操作へ引き継がれるためです。", "action": "可逆な下位工程から始め、状態検証、権限上限、人の承認、繰り返し試験、即時停止をワークフローへ組み込みます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-agent-workflow-reliability/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-agent-workflow-reliability/index.json" }, { "slug": "model-update-change-control", "title": "モデル更新では、変更前に再証明する範囲を決める", "summary": "モデル・データ・検索基盤・ガードレールの更新を変更範囲、比較証拠、承認、監視、ロールバックまでつないで管理する方法を整理します。", "quickAnswer": { "what": "AI更新はコード差分が小さくても判断境界を変え得るため、予定した変更範囲、検証方法、影響評価をリリース前に固定します。[1]", "why": "NIST AI RMFは任意の指針として継続監視を推奨し、EU AI Actは対象となる高リスクAIの重大変更と市場投入後監視を別の管理点として扱います。[2] [3]", "action": "旧版を基準として残し、代表・境界・悪用ケースの比較、独立承認、段階展開、停止閾値、復旧手順を一つの変更票で実行します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/model-update-change-control/", "machineReadableUrl": "https://catalysphere.co.jp/articles/model-update-change-control/index.json" } ] }