Anthropicが新たに開始した生成AI特化のバグバウンティプログラムは、最高報奨金210万円を提供し、AIの安全性向上を目指します。
この取り組みは、AIの潜在的リスクを減少させる重要なステップであり、特に「ユニバーサルジェイルブレイク」に対処することで、社会における安全性を強化する期待があります。
記事の概要
Anthropicは、生成AI特化のバグバウンティプログラムを2024年8月8日に発表しました。
このプログラムでは、最高報奨金15,000ドル（約210万円）が提供され、特に「ユニバーサルジェイルブレイク」攻撃に焦点を当てています。
この手法は、AIの安全対策を回避して本来禁止されるべき反応を引き起こすもので、複数のAIモデルに対して有害な行動を引き起こす可能性があります。
また、MozillaもAI特化型のプログラム「0Day Investigative Network」を実施しています。
OpenAIやグーグルも、AIシステムの脆弱性に対するバグバウンティプログラムを展開しており、特にプロンプトインジェクションに注目しています。
これらの取り組みは、AIの安全性向上に向けた競争を加速させるものと期待されています。
記事のポイント
- バグバウンティプログラムの開始： Anthropicが生成AI特化のバグバウンティプログラムを開始し、最高報奨金210万円を設定しました。
- AIの安全性強化： プログラムの目的は、ユニバーサルジェイルブレイク攻撃のリスクを低減し、AIの安全性に関する研究を加速することです。
- 業界全体の取り組み： MozillaやOpenAI、グーグルも同様のプログラムを展開しており、AIセキュリティの強化に向けた競争が激化しています。
詳しい記事の内容はこちらから（引用元）
AMP[アンプ] - 人生の豊かさを生む瞬間を情報でつくりだす新世代向けビジネスメディア
…
https://ampmedia.jp/2024/10/10/anthropic-bug-bounty/