{ "schemaVersion": "1.0", "language": "ja", "id": "safety-resilience", "name": "安全性・レジリエンス", "description": "攻撃、事故、復旧と事業継続を一つの対応循環として扱う。", "alternateNames": [ "Safety & Resilience", "AIセキュリティ", "プロンプトインジェクション", "アクセス制御", "AIインシデント", "危機対応", "再発防止", "レジリエンス", "事業継続" ], "canonicalUrl": "https://catalysphere.co.jp/topics/safety-resilience/", "machineReadableUrl": "https://catalysphere.co.jp/topics/safety-resilience/index.json", "updatedAt": "2026-10-01", "articles": [ { "slug": "ai-agent-delegated-authorization", "title": "人のログイン流用ではエージェントの権限を統制できない", "summary": "人のログイン状態を流用するのではなく、権限を委ねる人とAIエージェントを分け、対象・操作・相手先・期限を束ねた委任を実行時に検証する受入設計を示します。", "quickAnswer": { "what": "人のログイン状態や、誰が使っても通る広範な資格情報をそのまま渡すと、AIエージェントだけの行為の帰属、権限の絞り込み、失効を人と切り離して扱えません。[1][4]", "why": "認証に成功しても、それとは別に、権限を委ねた人、AIの実行主体、対象、操作、利用先、条件、期限をまとめて実行時に確認します。[2][3][5]", "action": "本番投入前に、拒否・期限切れ・条件変更・古い要求の再利用・失効を試し、AIエージェントだけを停止できない設計は自動実行範囲を縮小します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-agent-delegated-authorization/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-agent-delegated-authorization/index.json" }, { "slug": "warning-fatigue-ai-controls", "title": "警告を増やすほど、安全になるとは限らない", "summary": "反復警告への慣れ、偽警報、関連性の低い通知による無視を踏まえ、リスク別の警告予算、表示変化、強制停止を設計します。", "quickAnswer": { "what": "同じ警告の反復は注意と反応を低下させ、追加するほど安全になるとは限りません。", "why": "頻度が高く自分に関係しない警告や偽警報は、無視、遅延、オプトアウトを生み得ます。", "action": "警告をリスク別に抑制、集約、変化、強制停止へ配分し、適切な回避行動を測ります。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/warning-fatigue-ai-controls/", "machineReadableUrl": "https://catalysphere.co.jp/articles/warning-fatigue-ai-controls/index.json" }, { "slug": "cognitive-offloading-ai", "title": "AIへ思考を預けても、独力で戻れるか", "summary": "外部記憶による負荷軽減と、内部の符号化・想起の減少を分け、AIを使える時の成果と使えない時の独力遂行を両方測ります。", "quickAnswer": { "what": "情報の外部保存は目の前の負荷を減らし、後続作業を助ける条件があります。", "why": "外部資源を使える時の高成績と、使えない時の想起・遂行は別の成果です。", "action": "外部化してよい情報、内部に保持する判断原理、再構成演習、復旧条件を分けます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/cognitive-offloading-ai/", "machineReadableUrl": "https://catalysphere.co.jp/articles/cognitive-offloading-ai/index.json" }, { "slug": "rag-poisoning-defense", "title": "RAGの知識ベースは、検索される攻撃面になる", "summary": "悪意文書が検索上位へ入り回答を誘導するリスクを、書込み来歴、索引監視、矛盾検出、生成後検証、隔離と再索引に分けて防ぎます。", "quickAnswer": { "what": "外部根拠を使うRAGは、少数の悪意文書が特定質問で優先検索される攻撃面も作ります。", "why": "モデルへの安全指示だけでなく、書込み権限、来歴、検索結果、回答検証を分けて統制します。", "action": "汚染発見後は文書を消すだけでなく、索引を再構築し、影響回答を追跡して訂正します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/rag-poisoning-defense/", "machineReadableUrl": "https://catalysphere.co.jp/articles/rag-poisoning-defense/index.json" }, { "slug": "ai-code-security-review", "title": "AIが書いたコードは、速さと安全を分けて審査する", "summary": "生成コードの生産性を安全性へ読み替えず、脆弱性、利用者の安全認識、静的・動的検査、独立レビューを高影響コードの採用門にします。", "quickAnswer": { "what": "コード生成が速くても、脆弱性が少ないとは限らず、課題や提案選択で結果は変わります。", "why": "利用者が安全だと感じることと、実際の脆弱性を検査で減らせたことは別の指標です。", "action": "認証、暗号、入力処理などは、生成元の記録、専用試験、独立レビューを採用条件にします。" }, "updatedAt": "2026-07-24", "url": "https://catalysphere.co.jp/articles/ai-code-security-review/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-code-security-review/index.json" }, { "slug": "prompt-injection-enterprise-controls", "title": "プロンプトインジェクション対策は、命令検出より権限境界から始める", "summary": "不審な文章をフィルターするだけでは、外部データを読みツールを動かすAIを守れません。攻撃評価、構造化入力、公式分類から多層防御を整理します。", "quickAnswer": { "what": "プロンプトインジェクションは文章上の注意書きだけでは解消せず、権限とデータ流を含むシステム境界で防ぐ必要があります。", "why": "モデルは信頼する命令と外部データ内の命令を完全には分離できず、ツール権限があると誤追従が実操作へ変わるためです。", "action": "命令とデータの分離、最小権限、許可済み操作、実行前確認、適応的な攻撃試験、監査ログを重ねます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/prompt-injection-enterprise-controls/", "machineReadableUrl": "https://catalysphere.co.jp/articles/prompt-injection-enterprise-controls/index.json" }, { "slug": "ai-vendor-evaluation-exit", "title": "AIベンダー選定は、契約終了後の再開能力まで試験する", "summary": "精度デモだけで選ばず、データ、モデル依存、契約、移行可能性、停止・代替手段を導入前に試験するベンダー評価を整理します。", "quickAnswer": { "what": "AIベンダー評価では、現在の品質だけでなく、構成要素の可視性、変更通知、データ返却、代替モデルへの移行、終了後の削除までを選定条件にします。[1] [2]", "why": "NISTは生成AIを12のリスク群で整理し、第三者部品の依存、decommission、fallback、契約条件を明示的な管理対象にしています。[2]", "action": "PoC契約の前にサンプルデータを実際に書き出し、代替手段で再実行し、復旧時間・品質差・失われる機能を測る出口演習を行います。[3]" }, "updatedAt": "2026-07-24", "url": "https://catalysphere.co.jp/articles/ai-vendor-evaluation-exit/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-vendor-evaluation-exit/index.json" }, { "slug": "ai-incident-response", "title": "AI事故は、システム復旧だけでは終わらない", "summary": "モデル停止だけで終わらせず、被害、因果関係、版・データ・判断の証拠、対外報告、再発防止を一続きにする対応設計を整理します。", "quickAnswer": { "what": "AI事故では可用性の復旧だけでなく、影響を受けた人・権利・環境、モデルと事故の関係、入力・出力・人の判断の証拠を同時に扱います。[1] [2]", "why": "OECDの共通報告枠組みは29基準を提示し、EU AI Actは対象となる重大事故に原則15日以内などの期限を設けています。[2] [3]", "action": "平時に重大度、停止権限、証拠保全、通知先、代替業務、再開条件を決め、机上演習と事後レビューで更新します。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-incident-response/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-incident-response/index.json" }, { "slug": "ai-reliance-organizational-risk", "title": "AIに任せすぎる組織で、何が失われるのか", "summary": "正しい支援は助けになり、誤った支援は誤りを増幅する。自動化バイアスと批判的思考の研究から、疑い、止め、戻れる組織を考えます。", "quickAnswer": { "what": "AI依存では誤採用に加え、検証・学習・異議経路が弱まる可能性を監視します。長期の能力喪失は本稿の研究だけでは判定できません。", "why": "流暢な提案は正確さと無関係でも信頼を誘い、検証努力を下げる場面が観測されているためです。", "action": "失敗影響と可逆性で確認強度を変え、記録、二者確認、停止権限、代替手順を業務に埋め込みます。" }, "updatedAt": "2026-10-01", "url": "https://catalysphere.co.jp/articles/ai-reliance-organizational-risk/", "machineReadableUrl": "https://catalysphere.co.jp/articles/ai-reliance-organizational-risk/index.json" } ] }