米国のAI研究機関Continuum AIの研究チームは、3200億パラメータのMoEモデルで安全性アラインメントの脆弱性を検証しました。
モデル内部の重みから特定の方向を除去すると、有害な要求への拒否率が41〜89ポイント低下しました。
能力の劣化を伴わずに安全性だけが低下し得ることを示した研究論文を、arXivで公開しました。
記事の概要
研究論文の対象は、3200億パラメータのMoEモデル「GLM-5.3-Flash」です。
注意機構、通常の層、ルーティングされた専門家層を同時に編集すると、拒否応答を担う方向の除去効果は0.776に達しました。
単独編集の効果は、注意機構が0.039、通常の層が0.016、専門家層が0.148にとどまりました。
従来手法で捉えられた効果は0.066にすぎず、MoEモデルでは安全性の低下を検出できずに失敗する可能性があります。
7つの有害リクエスト評価では、拒否率が41〜89ポイント低下し、MaliciousInstructでは97%から8%になりました。
一方で、能力の劣化は検出されず、暴力・性的コンテンツ・ヘイトに集中した拒否応答は編集後も残りました。
本研究は外部からの重み操作を扱ったもので、AIが自律的に自己改変して安全性を外すことは実証していません。
記事のポイント
- 拒否率が最大89低下： 3200億パラメータのGLM-5.3-Flashで、重みの編集後に有害要求への拒否率が大幅に低下しました。
- 効果は複数層に分散： 注意機構・通常の層・専門家層を同時に編集した場合に、除去効果の大部分が現れました。
- 自己改変は未実証： 外部からの重み操作を検証した研究であり、AIによる自律的な自己アブリテーションは扱っていません。
このニュースがもたらす影響
- 公開モデル導入企業： 公開重みを採用する企業は、通常の出力テストだけでなく、モデル構造に応じた内部改変への耐性を導入前後に確認する必要がありそうです。安全機能を外部ガードレールだけに依存しない設計も求められます。
- モデル開発者： MoEモデルでは従来の層単位の検査だけでは脆弱性を見逃す可能性があるため、注意機構・通常層・専門家層をまたぐ評価手法と、能力を維持したまま安全性が低下するケースへの検査が必要になりそうです。
- 安全性評価担当： 安全性の低下と能力の劣化が連動しない結果から、性能ベンチマークだけではリスクを把握しにくいと考えられます。外部操作と自律的な自己改変を区別した評価設計が求められそうです。
このニュースの背景
AIの自己改良が議論される一方、改良の過程でも安全性が保たれるという前提は自明ではないとされています。
これまで重みの操作による安全性検証は、主に700億パラメータ程度までの密なモデルを対象としてきました。
専門家を組み合わせるMoEモデルでは、従来の手法が内部の脆弱性を捉えられるかが未検証でした。
公開された重みは直接操作できるため、モデル構造の変化に合わせて安全性評価の方法を見直す必要が生じています。
関連するニュース
- FlashLabsが、拒否率を低減したセキュリティ研究向けモデルを公開しました。
- FlashLabsが、音声認識の誤りがマルチホップRAGで最大67%増幅する研究成果を公表しました。
- FlashLabsがAIエージェントの実行を記録・再生・比較できるOSSを公開しました。
詳しい記事の内容はこちらから（引用元）
FlashLabs株式会社のプレスリリース（2026年9月10日 20時00分）OrcaRouter、フロンティア規模の…
https://prtimes.jp/main/html/rd/p/000000083.000138449.html