Anthropic、AIのリスク行動を可視化するツールをオープンソースで提供 – ZDNET Japan

Anthropicが開発したオープンソースのリスク行動可視化ツール「Petri」は、AIモデルの安全性評価に新たな視点を提供します。
このツールにより、AIの潜在的なリスクが明らかになり、社会全体のAI利用における信頼性向上が期待されます。
特に、危険な行動を特定するための研究が進むことで、未来のAIシステムの安全性が一層強化されるでしょう。

記事の概要

Anthropicは、AIモデルの安全リスクを可視化するオープンソースツール「Parallel Exploration Tool for Risky Interactions」（Petri）を公開しました。
このツールは、AIエージェントを使ってモデルとの対話をシミュレーションし、人間の利益に反する行動の可能性を評価することを目的としています。
過去の研究を基に、14の最先端AIモデルを111のシナリオで評価した結果、Claude Sonnet 4.5が最も安全とされ、Grok 4やGemini 2.5 Proは危険な行動が懸念されると報告されています。
Anthropicは、AIモデルの行動を分類し、行動のリスクを評価することの重要性を強調し、Petriを通じて研究者に新たなリスクの発見や安全対策の方向性を示す機会を提供することを期待しています。
AIの安全性に関する取り組みは、今後ますます重要になると考えられています。

記事のポイント

1. AIリスク可視化ツールの公開： AnthropicがAIモデルのリスク行動を評価するオープンソースツール「Petri」を公開しました。
2. 最先端モデルの評価： 14のAIモデルに対し、111のシナリオを用いてリスク行動を評価したことは、AI安全性研究において重要な進展です。
3. ユーザー参加型の改善促進： Petriは研究者が独自にリスクを発見し、新たな安全対策を構築するための基盤を提供し、広範な研究コミュニティの参加を促します。

詳しい記事の内容はこちらから（引用元）

ZDNET Japan

Anthropic、AIのリスク行動を可視化するツールをオープンソースで提供

Anthropicは、AIモデルに潜む安全上のリスクを明らかにするためのオープンソースツールを公開した。しかし、それ以上…