NVIDIA、AIエージェントの安全基盤をオープンソース公開

NVIDIAは、AIエージェントの安全な運用を支援する「NVIDIA Open Agent Safety Platform」を発表しました。
オープンソースの実行環境「NVIDIA OpenShell」と、DPUで挙動を監視する「NVIDIA Sentry」で構成します。
データやAPIへのアクセス境界を設定し、逸脱時にエージェントを検知・隔離できる基盤です。

記事の概要

NVIDIA OpenShellは、AIエージェントを隔離環境で動作させるオープンソースソフトウェアです。
アクセス可能なデータ、ツール、API、サービスなどをポリシーで制限し、処理の追跡と適用状況の確認ができます。
NVIDIAは、AIモデルやエージェント自身とは別に、実行環境側から強制できる境界を設けます。
NVIDIA Sentryは、NVIDIA BlueField-4 DPU上で動作し、エージェントから分離された環境で挙動を監視します。
許可された境界を越えようとした場合は、ミリ秒単位で隔離・停止できるとしています。
Anthropic、Salesforce、SAPなどが、Claude Managed AgentsやSlack、Joule Studioランタイムとの連携を進めます。
ソフトウェアはNVIDIAの開発者向けサイトとGitHubで公開され、OpenShellはNVIDIA製CPU以外への対応も進めます。

記事のポイント

  1. 実行環境で境界を強制: OpenShellはデータやAPIなどへのアクセスを制限し、エージェントの処理を追跡してポリシーを適用できます。
  2. DPUで独立監視: SentryはBlueField-4上の分離環境で監視し、エージェントや攻撃者から独立して制御できます。
  3. 企業システムと連携: Anthropic、Salesforce、SAPなどが、ClaudeやSlack、Joule Studioへの統合を進めています。

このニュースがもたらす影響

  • 導入を検討する企業: AIエージェントに許可するデータやAPIを細かく定義し、モデルの安全機能だけに依存しない運用設計を早期に検討する必要がありそうです。
  • 同業のサービス提供者: エージェントの機能だけでなく、実行環境での追跡・権限制御・隔離まで含めた安全性が、企業向けサービスを選ぶ際の比較軸になる可能性があります。
  • 企業のセキュリティ担当者: エージェントの内部処理を監視するだけでなく、侵害されたエージェントから分離した制御層をどう既存の認証・監視体制に組み込むかが課題になりそうです。

このニュースの背景

AIエージェントはデータやAPI、ツールを自律的に利用するため、モデルやエージェント自身の安全機構とは別に、実行環境側でアクセス範囲を強制する必要性が高まっています。
OpenShellは、エージェントを隔離環境で動かし、ポリシーに基づいて利用可能なデータやサービスを制限するとともに、処理の追跡を可能にします。
Sentryはエージェントから分離した環境で監視し、設定された境界からの逸脱時に隔離・停止する仕組みを担います。
Anthropic、Salesforce、SAPなどが既存のエージェントや業務ソフトウェアとの連携を進めており、単体の安全機能ではなく運用基盤としての利用が想定されています。

関連するニュース

詳しい記事の内容はこちらから(引用元)

Impress Watch

NVIDIAは、AIエージェントの安全な運用を支援する「NVIDIA Open Agent Safety Platfor…

NVIDIA、AIエージェントの「暴走」防ぐオープンソース基盤 – Impress Watch
https://www.watch.impress.co.jp/docs/news/2144232.html

最新情報をチェックしよう!
>ビジネスを飛躍させるAIキュレーションメディア「BizAIdea」

ビジネスを飛躍させるAIキュレーションメディア「BizAIdea」

国内外の最新AIに関する記事やサービスリリース情報を、どこよりも早くまとめてお届けします。
日々BizAIdeaに目を通すだけでAIの最新情報を手軽にキャッチアップでき、
AIの進化スピードをあなたのビジネスの強みに変えます。

SNSをフォローして頂くと、最新のAI記事を最速でお届けします!
X: https://twitter.com/BizAIdea
Facebook: https://www.facebook.com/people/Bizaidea/61554218505638/

CTR IMG