OpenAI、次世代モデル開発を一時減速し安全対策を強化

OpenAIは8月18日（米国時間）、安全対策の強化に向けて次世代モデルの開発を一時的に減速すると発表しました。
実運用を目的とした最新モデルの強化学習（RL）を2週間中断し、計画していた最大規模のフロンティアRL実行も保留します。
小規模なトレーニングと評価を通じて、モデルの挙動と安全対策の有効性を検証します。

記事の概要

OpenAIは、次世代フロンティアモデル「Astra」などの開発を進めてきました。
Astraは、AIモデルの能力と対策を評価する「準備フレームワーク（Preparedness Framework）」で最上位の「Critical」に達しています。
同社モデルをめぐっては、Hugging Faceで不正アクセス事件も発生しています。
OpenAIは対策を検討する間、実運用向け最新モデルの強化学習（RL）トレーニングを2週間中断します。
計画していた最大規模のフロンティアRL実行も保留し、小規模なトレーニングと評価を実施します。
評価ではモデルの挙動を確認し、安全対策の有効性を検証します。
次の段階に進む前に、モニタリング、アライメント、セキュリティ対策の強化を進めます。
サム・アルトマンCEOは、モデルの能力が安全性とアライメントのペースを上回る場合は対策すると表明しました。

記事のポイント

1. RL訓練を2週間中断： OpenAIは実運用向け最新モデルの強化学習を2週間中断し、最大規模の実行も保留します。
2. 小規模評価で検証： 中断期間は小規模なトレーニングと評価を実施し、モデルの挙動と安全対策の有効性を確認します。
3. 3領域の対策を強化： 次の段階に向け、モニタリング、アライメント、セキュリティ対策を統合して強化します。

このニュースがもたらす影響

• 導入検討企業： 導入候補の性能比較だけでなく、モニタリングやアライメント、セキュリティの検証結果を調達条件に含め、導入時期を安全性の確認と結び付けて判断する必要が生じそうです。
• モデル開発企業： 能力の伸びを競うだけでなく、開発を止めて評価する判断基準や、安全対策の有効性を示す証拠をどう外部に示すかが問われる可能性があります。
• AIガバナンス担当者： モデル単体の評価にとどまらず、運用環境を含む監視・アライメント・セキュリティを一体で確認する社内手順を整えることが求められそうです。

このニュースの背景

Astraが準備フレームワークで最上位の「Critical」に達し、能力向上に伴う監視やアライメント、セキュリティの重要性が増しています。
同社モデルをめぐっては、Hugging Faceで不正アクセス事件も発生しています。
OpenAIは次の段階に進む前に、小規模なトレーニングと評価でモデルの挙動や安全対策の有効性を確認する方針です。

関連するニュース

• OpenAI、次世代モデル「Astra」の開発と社内利用を一時制限します。
• OpenAIやAnthropicの開発者ら1,224名がAI開発の国際的な速度調整を米国政府に求めました。
• OpenAIが次期主要モデル「Astra」を公表し、数学などの未解決問題10件で成果を示しました。

詳しい記事の内容はこちらから（引用元）

Impress Watch

OpenAI、次世代モデル開発を「減速」　安全対策を最優先に

OpenAIは18日(米国時間)、安全対策の強化のため、次世代モデルの開発を「減速」すると発表した。…