OpenAI、新モデル「Astra」の強化学習を2週間停止

OpenAIは8月17日、開発中の新モデル「Astra」の学習を一時的に減速していると発表しました。
サイバーセキュリティ能力が、安全基準の「Critical（致命的）」レベルに達する可能性があるためです。
製品投入を想定した最新モデルの強化学習を2週間停止し、研究環境の安全対策も強化しています。

記事の概要

OpenAIは、製品投入を想定した最新モデルの強化学習を2週間停止しました。
最大規模として計画していた学習も保留し、小規模な学習や評価で安全性を確認しています。
背景には、Astraのサイバー能力が急速に向上したことがあります。
加えて、「OpenAI-Hugging Face incident」と呼ばれるセキュリティ事案も影響しています。
Astraが事案に直接関与したわけではありませんが、OpenAIは研究環境の安全基準を引き上げています。
AIが生成したコードを実行する環境を隔離し、インターネットへの接続制限も強化しました。
ツールを使う強化学習や評価では、不正アクセスやデータ窃取などを自動検出し、重大な問題が疑われる場合は作業を停止します。
7月公開の「Pacing the Frontier」と同様に、AI開発の速度を落とせる技術や国際的なガバナンスの必要性が示されています。

記事のポイント

1. 学習を2週間停止： 製品投入を想定した最新モデルの強化学習を停止し、最大規模の学習も保留しています。
2. 研究環境を隔離： AI生成コードの実行環境を隔離し、インターネット接続の制限を強化しています。
3. 国際協調が課題： 一社が減速しても競合が加速すれば、開発競争が再び激化する可能性があります。

このニュースがもたらす影響

• 導入検討企業： 最先端モデルを業務に組み込む企業は、性能向上だけでなく、提供側の安全評価で学習や提供が止まる可能性も織り込み、導入時期と代替策を見直す必要がありそうです。
• 競合AI企業： 同じ領域の開発企業には、競争相手の減速を開発加速の機会と見るのか、安全基準や評価環境をそろえるのかという判断に加え、顧客への説明責任も重くなりそうです。
• 政策担当者： 一社の停止だけでは競争圧力が残るため、政策担当者は企業ごとの自主判断に任せず、国際的に学習を止める条件や監視の水準をどう共有するか検討することになりそうです。

このニュースの背景

Astraのサイバーセキュリティ能力が急速に向上し、安全基準の「Critical」レベルに達する可能性が示されました。
別のセキュリティ事案を受け、OpenAIは研究環境の安全基準を引き上げ、生成コードの実行環境やインターネット接続の管理を強化しています。
7月に公開された「Pacing the Frontier」でも、危険が高まった場合に開発速度を落とす技術と国際的なガバナンスの必要性が示されています。

関連するニュース

• OpenAIは次世代モデルの強化学習を2週間中断し、小規模評価で安全対策の有効性を検証します。
• OpenAI、次世代モデル「Astra」の開発と社内利用を一時制限します。
• OpenAIが次期主要モデル「Astra」を公表し、数学などの未解決問題10件で成果を示しました。

詳しい記事の内容はこちらから（引用元）

ASCII.jp

OpenAI、自らAI開発を減速　「安全より競争」を止められるか

OpenAIは8月17日、開発中の新モデル「Astra」が同社の安全基準でサイバーセキュリティ能力の「Critical（…