#929 総務省「AIセキュリティ分科会（第2回）」に関する資料を公開、MBSDのプロンプトインジェクションの事例と対策解説も

今回は総務省が公開した「AIセキュリティ分科会」の資料と、MBSDが示したプロンプトインジェクションの事例と対策について解説します。生成AIの導入が進む中で何が脅威となるのか、具体的にどのような多層防御が現実的かを整理します。これを聞けばプロンプト攻撃の基本的な分類と企業や行政で検討すべき実務的な対策の方向性が分かります。

今回のポイントは三つあります。まず一つ目はデジタル庁が行政での生成AIの調達と利活用に関するガイドラインの説明を行ったことです。行政の導入を前提に安全性や調達条件の整理が進んでいる点が重要です。二つ目はMBSDがプロンプトインジェクションを直接型と間接型に分類したことです。直接型の事例として過去のチャット型サービスやマルウェアが示され、間接型の事例としては業務ツールや論文中に埋め込まれた秘密命令が挙げられています。三つ目は対策の整理で、LLM内部の耐性強化、入力段階での精査、出力段階での検査という三層の防御を推奨している点です。過去の傾向としては生成AIの急速な普及に伴い攻撃手法も多様化しており、今後は公共調達やベンダーの責任範囲を明確にする流れが強まると考えられます。企業は多層防御の設計と運用、外部情報の扱いのルール化、監査やログの整備を進める必要があります。

プロンプトインジェクションとは生成AIに与える入力に悪意ある指示や細工を混入させ、モデルを不正に動作させる攻撃です。入力テキストそのものに機密情報の漏洩を促す命令を埋め込んだり、外部参照を介して不正な指示を注入したりする手口が含まれます。直接型はユーザ入力やウェブページ経由で即座にモデルの振る舞いを変えるもので、間接型は外部の文書やデータに仕込まれた命令が後で参照されて影響を及ぼすものです。影響は情報漏洩や不正操作の助長につながりうるため、入力検査と出力検査、モデル側のガードルールの三者を組み合わせる防御が求められます。

生成AIの導入が広がる中で行政業務や業務支援の現場での誤動作や情報漏洩の事例が顕在化してきたことが背景にあります。公共サービスでは安全性と説明責任が特に重視されるため、調達時の要件や運用ルールを明確にする必要が出てきました。同時にベンダーの提供するモデルやシステムに対するセキュリティ要件の標準化も進んでいます。過去数年で攻撃手法が洗練されたことからリスク評価と対策の実務的な指針が求められ、今回の分科会でその方向性が示されたという流れです。

海外でも生成AIの安全性に関する政策議論と業界指針の策定が活発です。欧米では標準化団体や規制当局がモデルの透明性やリスク評価を重視するフレームワークを出し始めており、企業はセキュリティ機能の実装や第三者評価を求められるケースが増えています。産業界ではセキュアなプロンプト設計や入力フィルタリング、モデル出力の検査ツールの開発が進展しており、国際的なベストプラクティスの共有も進んでいます。したがって国内のガイドライン策定は国際基準との整合性を意識した対応が必要です。

企業はまずリスク評価を行い利用ケースごとに必要な防御レベルを定めることが肝要です。次にモデルの選定段階でベンダーに対するセキュリティ要件を提示し、入力検査と出力検査の仕組みを実運用に組み込みます。加えて監査ログや異常検知の体制を整備し、インシデント発生時の対応フローを事前に用意しておくことが重要です。ガバナンス面では利用ポリシーや教育を通じて従業員が安全にAIを扱えるようにすることも忘れてはなりません。

将来予測の不確実性は主に技術の進化速度と法制度の変化にあります。モデルがより強力になれば攻撃の威力も変わり、同時に防御技術も進化します。法規制や標準化の方向性が国や地域で異なる点も企業の対応を複雑にします。注意すべきは単一の対策に依存しないことと、運用プロセスを柔軟に見直せる体制を作ることです。定期的なリスク再評価と外部動向の継続的な監視が不可欠です。