PwCコンサルティングとトレンドマイクロは7月17日、共同レポートを発表しました。
レポートでは、AIエージェントの自律性が高まるほど、従来とは異なるサイバーリスクが生じると説明しています。
両社は、非人間アイデンティティーの管理や人間による監督など、実践的なガバナンスの論点を示しました。
トレンドマイクロは、保存型プロンプトインジェクションによる情報流出の実証研究も報告しました。
記事の概要
PwCコンサルティングとトレンドマイクロは7月17日、共同レポート「自律するAIの時代－AIエージェントのサイバーリスクと実践的ガバナンス」を発表しました。
PwCコンサルティングの村上純一氏は、AIの自律性にはレベル0からレベル5までの6段階があると説明しました。
レベル3以降では、AIがルールの範囲内で自律行動したり、目標に向けて計画・実行したりするため、意図しない行動やルールの悪用が深刻化します。
主要な論点として、AIなどの非人間アイデンティティー（NHI）の統制、人間が状況を把握・制御するヒューマン・イン・ザ・ループ（HITL）、外部環境との安全な相互作用が挙げられました。
トレンドマイクロの佐藤健氏は、外部データやシステムを経由して指示を読み込ませる間接的なプロンプトインジェクションの実証研究を報告しました。
顧客サポートのトリアージシステムでは、問い合わせに埋め込まれた指示により、データベース内の認証トークンが顧客レコードへ書き出されました。
KYC文書処理システムでは、パスポート画像に埋め込まれた隠しテキストをOCRで読み込み、他人の旅券情報が攻撃者の画面に追記されました。
両社は、利用者のUI権限とAIエージェントの広範なデータベース権限の差が、権限昇格の橋渡しになると説明しました。
記事のポイント
- 自律化で変わるリスク： 自律レベルが高まると、意図しない行動やルールの悪用、複数エージェントの連動による制御不能が懸念されます。
- 権限と監督が課題： NHIの過剰な権限付与や管理不足に加え、組織が把握していないシャドーAIエージェントも課題です。
- 保存型攻撃を実証： 顧客サポートとKYCの検証では、通常データに埋め込まれた指示から認証情報や旅券情報が流出しました。
詳しい記事の内容はこちらから（引用元）
PwCコンサルティングとトレンドマイクロは、共同レポート「自律するAIの時代－AIエージェントのサイバーリスクと実践的ガ…
https://japan.zdnet.com/article/35250726/