プロンプトインジェクション対策は、命令検出より権限境界から始める

ツールを持たないチャットでも、入力中の命令が本来の指示を上書きする危険があります。メール、検索結果、共有文書、ウェブページを読むエージェントでは、攻撃者が利用者と直接会話しなくても、取得データへ命令を書き込めます。モデルがそれをデータではなく指示として扱うと、情報の持ち出しや意図しない操作へ進みます。

AgentDojoは、メール、電子銀行、旅行予約などを模した環境に、97の通常タスクと629のセキュリティ試験事例を用意しました。最先端モデルは攻撃がない状態でも一部タスクに失敗し、既存攻撃と防御は安全性の一部を破ったり守ったりするものの、万能ではないと報告しています。[1]

最初に、攻撃文字列ではなく資産と経路を棚卸しします。外部データがどのモデル入力へ入り、そのモデルがどの機密を読めて、どのツールで状態を変えられるかを一枚の流れにします。通常タスクが失敗しただけなのか、攻撃入力によって権限外の読取や操作へ進んだのかを分け、後者が再現する経路は機能公開の対象外にします。[1]

禁止語、固定の注意文、攻撃例のブラックリストは、表現を変えた命令や新しいデータ源に弱くなります。外部文書をそのままシステムプロンプトへ連結すれば、信頼境界はテキスト上で消えます。まず、開発者の命令、利用者入力、検索結果、ツール出力を別の型と経路で扱う必要があります。

StruQは、プロンプトと利用者データを二つのチャネルへ分け、データ側の命令を無視するよう特別に学習したモデルを組み合わせました。少なくとも15種類のプロンプトインジェクションを含む評価で、実用性への影響を小さく保ちながら耐性を大きく改善したと報告しています。[2] ただし専用学習を要し、一般APIへ区切り記号を足すだけの対策ではありません。

構造分離の効果は、同じ内容を信頼命令と不信データへ置き分ける対照試験で確認します。データ側の命令に従わず、同時に正当なデータ質問へ答えられることを両方満たして初めて合格です。拒否率だけが上がる場合は安全性向上ではなく機能喪失という代替説明があるため、攻撃阻止と通常業務成功を別指標にします。[2]

モデルが攻撃文を読んでも、読み取り専用で機密へ届かず、外部送信や購入を実行できなければ影響は小さくできます。ツールごとに利用者、対象、操作、金額、送信先を許可リスト化し、必要な瞬間だけ短い権限を渡します。取得した文章が新しいツール権限を要求しても、自動では増やしません。

NIST AI 100-2e2025は、生成AIに対する回避、ポイズニング、プライバシー、悪用を含む攻撃分類と緩和策を整理し、既存緩和策の限界も扱っています。[3] この考え方に沿えば、プロンプトインジェクションをモデル一個の不具合ではなく、データ取得、推論、ツール、出力、監視を通る攻撃経路として脅威モデル化できます。

権限試験では、モデルが何を答えたかより、許可されない操作が実行層で拒否されたかを確かめます。利用者、対象、操作、送信先のいずれかが許可範囲外なら、モデルが正当と説明しても拒否される必要があります。モデル防御を外した対照条件でも被害操作が成立しないことを、実行基盤を別製品へ移す際の移植条件にします。[3]

StruQは専用学習を含む命令・データ分離を評価し、NIST文書は攻撃と緩和策の分類を提供しますが、どちらも個別企業の複数ツール連鎖が安全だと認証するものではありません。[2][3] したがって、各ツールの許可表だけでなく、許可同士をつないだ時の到達先を別に調べます。

以下は仮想的な検査例です。ある操作が顧客名を読め、別の操作が外部宛ての下書きを作れ、さらに別の操作が承認済み送信を再利用できるなら、単体では限定的でも連鎖後の影響は変わります。実環境では、モデルへ攻撃文を与える前に、状態遷移だけを模した試験で成立経路を列挙します。

ケース記録には、最初の不信入力、途中で得たデータ、追加された権限、最後に変化した外部状態を時刻付きで順番に残します。一段ごとの拒否が正しくても、再試行や別ツールへの持替えで同じ終点へ届くなら残余経路です。モデル名ではなく、入力から資産までの到達列を再現単位にします。

運用上の推奨は、想定する侵入点から保護対象までの経路図を作り、少なくとも一か所で必ず止まる停止点を選ぶことです。停止点はモデルの拒否だけに置かず、資格情報の発行、対象選択、外部送信、状態変更など、モデル出力から変更できず機械的に判定できる管理可能な境界から選びます。

すべての段階を同じ強さで防ぐのではなく、停止した時の業務損失と、通過した時の被害を並べます。たとえば閲覧は続けても外部送信だけを止める、予約作成は許して確定を止める、といった縮退を仮説として試します。これは万能な構成ではなく、業務ごとに許容できる残余経路を決める手順です。

公開判定では、既知攻撃を何件止めたかより、重要資産へ到達する全ての既知経路に独立した停止点があるかを確認します。経路追加、権限変更、ツール連携の追加があれば、以前の合格はそのまま継承しません。未評価の経路は安全と推定せず、該当する状態変更を無効にしてから試験します。

• PATH：不信入力から保護対象までの操作列と途中状態を一意に記録する
• COMPOSITION：単体許可を結合した時だけ生じる読取・送信・変更能力を列挙する
• CUT：モデル外で強制できる停止点と、停止時に残せる業務機能を対応させる
• RESIDUAL：迂回、再試行、別ツール持替えで残る到達経路を公開条件へ戻す

評価では通常タスクの成功と攻撃阻止を同時に測ります。防御が強くても正当な依頼をすべて拒否すれば使えません。直接入力、取得文書、ツール返値、画像内文字など侵入経路を分け、攻撃者が防御を知った後に言い換えられる条件でも試します。

高影響操作では、実行前に対象と差分を利用者へ示し、外部データから得た理由ではなく本人の明示承認を取ります。ログには未加工入力、信頼区分、モデル判断、ツール呼び出し、拒否、承認を残します。異常時に資格情報を失効し、処理を止め、影響操作を検索できることまでが防御の完成条件です。

変更後の攻撃試験は、既知の文面を再生するだけで終えず、侵入経路と表現を変えて行います。高影響操作が承認なしで成立した場合、または監査ログから影響範囲を特定できない場合は、該当ツールの資格情報を失効し読み取り専用へ戻します。再開責任者と証跡の保管責任者を分け、修正者だけで合格を宣言しません。

• 信頼境界：開発者命令、利用者入力、取得データ、ツール返値を別経路として記録する
• 最小権限：対象、操作、送信先を実行層で制限し、外部文章から権限を増やさない
• 二重評価：攻撃阻止と正当な通常タスクの成功を、同じ試験で別々に判定する
• 事故対応：停止、資格情報の失効、影響操作の検索、読み取り専用への復旧を試験する