シスコが警告するAIエージェントの脅威–マルチターン攻撃が暴く安全性の限界 – ZDNET Japan

AIエージェントの普及に伴い、従来のAIセキュリティ評価では捉えにくい脅威が明らかになっています。
Cisco Systemsの研究では、会話を重ねるマルチターン環境でモデルの安全性を検証しました。
約5ターンのやりとりでガードレールが劣化し、最大90％の確率で悪意ある応答や動作を引き出せたといいます。
同社は105以上のAIモデルに対する攻撃結果を公開し、企業のモデル選定やリスク評価に活用できるようにしています。

記事の概要

生成AIの普及初期には、ジェイルブレイクやプロンプトインジェクションが主なセキュリティ論点でした。
当時は問題が起きても、モデルをオフラインにして再学習させる対応が可能でした。
自律的にタスクを実行するAIエージェントは、データベースや社内システムなどと連携します。
利用者のアクセス権限を継承するため、不正操作によってデータ消去や不正取得を実行する恐れがあります。
Cisco SystemsのAmy Chang氏は、標準状態で本質的に安全なモデルは存在しないと説明しています。
同社の検証では、マルチターンの会話を約5回重ねると、モデル内部のガードレールが顕著に劣化しました。
最大90％の確率で悪意ある応答や動作を引き出せ、オープンモデルでは安全性の低下がさらに顕著でした。
Cisco Systemsは、105以上のAIモデルに対する敵対的攻撃の結果を公開リソースとして提供しています。

記事のポイント

1. 評価方法の限界： シングルターンのベンチマークは、実際の業務で続く会話を十分に反映できていないと指摘しています。
2. 権限継承のリスク： AIエージェントは利用者の権限を継承するため、データ消去や不正取得を代理実行する危険性があります。
3. 公開された評価情報： 105以上のモデルについて、攻撃成功率や有効な手順、コンテンツ別のリスクを可視化しています。

詳しい記事の内容はこちらから（引用元）

ZDNET Japan

シスコが警告するAIエージェントの脅威--マルチターン攻撃が暴く安全性の限界

シスコシステムズでAI脅威インテリジェンスおよびセキュリティリサーチの責任者を務めるエイミー・チャン氏に、AIエージェン…