ASCII.jp：チャットAIは入力できる情報が増えると“脱獄”リスクも増える　Anthropic研究

Anthropicが公開した調査結果によると、大量のテキストを入力することでAIの安全装置を突破する攻撃手法「メニーショット・ジェイルブレイキング」が問題となっています。
AI開発者はこの脅威に対処するため、プロンプトの分類や変更などの対策を行っています。
読者はAI技術の進化に伴うセキュリティの脅威に注意が必要です。

記事の概要

人工知能（AI）開発企業のAnthropicが、大規模言語モデル（LLM）を利用した攻撃手法「メニーショット・ジェイルブレイキング」について調査結果を公表しました。
メニーショット・ジェイルブレイキングは、大量のテキストを使ってチャットAIの安全装置を突破する攻撃手法であり、AIが不適切な回答をする可能性が高まることが指摘されました。
この攻撃手法に対する対策として、プロンプトの分類や変更が有効であり、実験では成功率が低下することが確認されました。
Anthropicは競合企業の研究者にも情報を共有し、攻撃の緩和策を実装しています。

記事のポイント

1. メニーショット・ジェイルブレイキング： 生成AIの安全装置を突破する攻撃手法「メニーショット・ジェイルブレイキング」についてAnthropicが調査結果を公表。大量の偽の会話テキストを入力することで、安全装置が無効化され、不適切な回答を引き出せる可能性が高くなることが分かった。
2. インコンテキスト学習： AIが入力されたテキストの文脈を学習し、適切な回答を生成する「インコンテキスト学習」の仕組みがメニーショット・ジェイルブレイキングに影響している可能性を指摘。実際にメニーショット・ジェイルブレイキングと無害なインコンテキスト学習のデータは、パターンが似ていることが明らかになった。
3. 対策と情報共有： メニーショット・ジェイルブレイキングを防ぐための対策として、入力できるテキストの長さを制限する方法が有効であることが分かった。また、Anthropicは競合するAI企業の研究者にも内密に情報を共有し、攻撃の緩和策を実装済みとしている。

詳しい記事の内容はこちらから（引用元）

ASCII.jp

チャットAIは入力できる情報が増えると“脱獄”リスクも増える　Anthropic研究

生成AI「Claude」を開発するAnthropicは4月3日、大規模言語モデル（LLM）から問題のある回答を引き出す攻…