注目キーワード

生成AIに“アスキーアート”入りプロンプト入力→有害コンテンツ出力 米研究者らが新手の脱獄法発見:Innovative Tech – ITmedia NEWS

「生成AIがアスキーアートを利用した新しい脱獄攻撃法を発見!アートとテクノロジーの融合による新たな挑戦」という興味深い研究報告です。

記事の概要

アメリカの研究者たちは、生成AIがアスキーアートを含んだプロンプトを入力されると、有害なコンテンツを出力することができるという新しい脱獄(ジェイルブレーク)攻撃手法を提案しました。
これは大規模言語モデル(LLM)がアスキーアートを正しく認識できない脆弱性を利用しています。
具体的には、プロンプトの一部をアスキーアートに変換することで、LLMが拒否する可能性のある言葉を視覚的に隠蔽し、攻撃を実行します。
実験では、最先端のLLMに対してこの手法を試し、攻撃成功率が明らかになりました。
この脱獄手法によって、爆弾の作り方やその他の有害なコンテンツがLLMに出力される可能性があります。

記事のポイント

  1. ArtPromptという新しい脱獄攻撃手法が米ワシントン大学の研究者らによって提案された。この手法は、大規模言語モデル(LLM)がアスキーアートを正しく認識できないという脆弱性を利用し、有害なコンテンツを出力させることができる。
  2. ArtPromptは最新のLLMモデルに対して効果的であり、GPT-3.5をはじめとするモデルに対して攻撃成功率が高いことが実験結果から明らかになった。
  3. ArtPromptは他の脱獄攻撃手法と比較しても最も高い効果を示し、LLMの安全対策を迂回し、望ましくない挙動を引き起こすことが可能であることが示された。

詳しい記事の内容はこちらから(引用元)

ITmedia NEWS

米ワシントン大学などに所属する研究者らは、大規模言語モデル(LLM)がアスキーアートを正しく認識できないという脆弱性を利…

生成AIに“アスキーアート”入りプロンプト入力→有害コンテンツ出力 米研究者らが新手の脱獄法発見:Innovative Tech – ITmedia NEWS
https://www.itmedia.co.jp/news/articles/2403/07/news064.html

 

最新情報をチェックしよう!
>ビジネスを飛躍させるAIキュレーションメディア「BizAIdea」

ビジネスを飛躍させるAIキュレーションメディア「BizAIdea」

国内外の最新AIに関する記事やサービスリリース情報を、どこよりも早くまとめてお届けします。
日々BizAIdeaに目を通すだけでAIの最新情報を手軽にキャッチアップでき、
AIの進化スピードをあなたのビジネスの強みに変えます。

SNSをフォローして頂くと、最新のAI記事を最速でお届けします!
X: https://twitter.com/BizAIdea
Facebook: https://www.facebook.com/people/Bizaidea/61554218505638/

CTR IMG