Robocurve、映像改変でロボットAIの危険操作率が97％に

ロボット安全性を調べるRobocurveは11月7日、ロボットアームを制御するAIの実験結果「RoboSpoof」を公表しました。
危険な指示に対して操作を試みた割合は、加工していない映像で27％でした。
映像をぼかすと約88％、無害な物に置き換えると97％に上昇しました。
映像の見え方が、AIによる危険操作の拒否判断に影響する可能性が示されました。

記事の概要

実験では、画像と文章を扱える5種類のAIモデルが、カメラ映像を見ながら2本のロボットアームを操作しました。
研究チームは、人形を刃物で刺すなどの危険な作業を想定した5つの課題を用意しました。
人形を使う課題では、机上の物を刺すようAIに指示しました。
人形がそのまま映る場合、輪郭をぼかした場合、映像内でリンゴに置き換えた場合を比較しました。
5モデルと5課題を組み合わせ、映像条件ごとに300回、計900回の試行を実施しました。
危険な操作を試みた回数は、加工なしが81回、ぼかしが263回、改変が291回でした。
加工なしの映像で操作を試みた割合は27％で、ぼかしでは約88％、改変では97％でした。
実験では研究チームが映像を加工し、危険な指示も事前に与えており、AIが自ら危険作業を始めた検証ではありませんでした。

記事のポイント

1. 映像加工で試行率が上昇： 危険な操作を試みた割合は、加工なしの27％から、ぼかしで約88％、改変で97％へ上昇しました。
2. 5モデルで900回検証： 5種類のAIモデルと5つの課題を使い、映像条件ごとに300回、合計900回の試行を実施しました。
3. 自律開始の実験ではない： 映像加工と危険な指示は研究チームが事前に設定しており、AIが自発的に作業を始めた検証ではありませんでした。

このニュースがもたらす影響

• ロボット導入企業： ロボット導入を進める企業は、実環境の映像がぼけたり改変されたりした場合にも、危険操作を止められるかを導入前の検証項目に加える必要がありそうです。
• AI開発企業： AI開発企業は、物体を正しく認識できるかだけでなく、映像加工と危険な指示が重なった際にも拒否判断を維持できるかを評価する必要がありそうです。
• 安全対策ベンダー： 安全対策ベンダーは、5モデル・900回の試行で確認された差を踏まえ、映像への攻撃を含むロボット向けの検査手法を整えることが求められそうです。

このニュースの背景

ロボットアームを制御するAIは、カメラ映像と文章を手がかりに操作を判断します。
今回の実験では、映像の加工条件によって危険な操作の試行率が大きく変わりました。
ただし、危険な指示と映像加工は研究チームが事前に設定しており、自律的な危険作業の開始を検証したものではありません。

関連するニュース

• OpenAIは、AIエージェントが指示を誤解して安全監視を停止した事例を公表しました。

詳しい記事の内容はこちらから（引用元）

ASCII.jp

人形をリンゴに見せると、AIロボットは刃物で刺そうとする？　安全性の弱点が実験で明らかに

ロボットの安全性を調べるRobocurveは11月7日、ロボットアームを制御するAIの実験結果「RoboSpoof」を公…