マイクロソフトは、悪意のある操作によって「汚染」されたAIモデルを検出する新しいスキャナーを開発したと発表しました。
AI研究者の間では、質の低いデータを学習することでモデルが劣化する「モデル崩壊」が懸念されていますが、今回は「モデルポイズニング」という新たなセキュリティ脅威に焦点を当てています。
この手法では、モデルの重みに特定の動作指示を埋め込むことで、攻撃者が設定した条件に反応する「スリーパーエージェント」が作られます。
検知が非常に難しいこの攻撃は、通常の安全テストでは発見が困難です。
研究によると、わずか250件の文書を混入させるだけでバックドアが構築可能であり、学習後の対策も難しいため、モデルの稼働中に兆候を捉えることが重要とされています。
国内外の最新AIに関する記事やサービスリリース情報を、どこよりも早くまとめてお届けします。
日々BizAIdeaに目を通すだけでAIの最新情報を手軽にキャッチアップでき、
AIの進化スピードをあなたのビジネスの強みに変えます。
SNSをフォローして頂くと、最新のAI記事を最速でお届けします！
X: https://twitter.com/BizAIdea
Facebook: https://www.facebook.com/people/Bizaidea/61554218505638/
