Anthropic研究者ら、超知能が人類を滅ぼすリスクを警告

Anthropicの元研究者ジェイコブ・コクソン氏が、同社とOpenAIのAI開発を批判しました。
自己改善するスーパーインテリジェンスへの競争が、人類の命を危険にさらしていると訴えました。
Anthropicでアラインメント研究を率いるエバン・ハビンガー氏も、AIが今後10年で人類を滅ぼす確率は10％を超えると述べました。
米国では、人工超知能の開発・配備を恒久的に禁止する法案の提出方針も示されています。

記事の概要

コクソン氏は9月8日、Anthropicを辞任したとXで明らかにしました。
同氏はOpenAIとAnthropicの双方で、AIモデルの事前学習研究に携わってきました。
両社は責任ある行動を取らず、自己改善するスーパーインテリジェンスに向けて競争していると批判しました。
コクソン氏は、AIを構築する人々が2020年代の終わりまでに全人類が死亡する可能性を本気で考えていると述べました。
Anthropicのハビンガー氏も、スーパーインテリジェンスのアラインメントを解決する計画はなく、今後10年で人類を滅ぼす確率は10％を超えると投稿しました。
コクソン氏は27歳の英国人研究者で、2023年にOpenAIへ入り、GPT-4oを含むAIモデルの研究に携わりました。
その後、2026年にAnthropicへ移り、大規模データを用いた事前学習を研究していました。
米国では9月3日、バーニー・サンダース上院議員らがBan Artificial Superintelligence Actの提出方針を発表しました。

記事のポイント

1. 研究者が開発競争を批判： コクソン氏は、OpenAIとAnthropicが自己改善するスーパーインテリジェンスへ競争し、人命を賭けていると批判しました。
2. 内部から10％超の警告： Anthropicのハビンガー氏は、AIが今後10年で全人類を死なせる確率を10％超と個人的に推定しています。
3. 米国で禁止法案の動き： サンダース氏らはASIの開発・配備を恒久禁止し、安全基準整備まで高度AIを一時停止する法案を示しました。

このニュースがもたらす影響

• AI開発企業： 現場の研究者が安全計画の不足を公に指摘したことで、開発企業には、能力向上の目標だけでなく、自己改善やアラインメントの検証結果を外部に説明できる体制が求められそうです。
• 規制・政策担当者： 10％超という個人推定と禁止法案の提出方針が並んだことで、政策担当者は、極端なリスク評価を規制の根拠へどう接続するか、停止条件や審査主体を具体化する必要がありそうです。
• AI導入企業： 高度なモデルを業務に組み込む企業は、性能や費用だけでなく、提供元の安全評価、更新時のリスク管理、事故時の責任分担を契約・審査項目に加える必要がありそうです。

このニュースの背景

OpenAIとAnthropicの双方で事前学習に携わった元研究者が、両社の自己改善するスーパーインテリジェンスへの競争を責任ある行動ではないと批判しました。
Anthropicでアラインメント研究を率いる研究者も、人類を滅ぼす確率を今後10年で10％超と個人的に推定し、スーパーインテリジェンスのアラインメントを解決する計画はないと述べました。
米国では、人工超知能の開発・配備を恒久的に禁止し、安全基準や審査制度が整うまで高度AIの開発を一時停止する法案の提出方針が示されています。

関連するニュース

• OpenAIはAIの低コスト化で、従来は実行できなかった仕事の市場化を目指しています。
• オードリー・タン氏は、AIを人間の能力を広げる「拡張された集団知」と捉えています。
• OpenAIは次世代モデルの強化学習を2週間中断し、小規模評価で安全対策の有効性を検証します。

詳しい記事の内容はこちらから（引用元）

ASCII.jp

「AIが全人類を死なせる可能性」Anthropicの研究者から警告相次ぐ

Anthropicの研究者だったジェイコブ・コクソン氏が9月8日、同社を辞任したことをXで明らかにした。…