NVIDIA、AIエージェントの暴走を防ぐ新プラットフォームを公開

画像の出典：NVIDIA

AIエージェントの導入が進む中で、自律的に動作するシステムが意図しない行動をとるリスクを懸念する企業が増えています。NVIDIAは、AIエージェントの安全性をハードウェアとソフトウェアの両面から担保する新たなプラットフォームを発表しました。

本記事では、この技術がどのようにエージェントの暴走を防ぐのか、その仕組みと企業への影響を解説します。

二重の防壁でAIの行動を制限

NVIDIAが発表した「NVIDIA Open Agent Safety Platform」は、AIエージェントが実行可能な範囲を厳格に定義し、万が一の逸脱を即座に検知・隔離する仕組みです。このプラットフォームは、ソフトウェア層とハードウェア層の二重構造で構成されています。

ソフトウェアによる実行環境の制限

中心となるのは、オープンソースの実行環境である「OpenShell」です。OpenShellは、エージェントの動作をすべて記録し、あらかじめ決めたルール（ポリシー）を守らせる「囲い」の役割を担います。NVIDIAのエージェント向けCPU「Vera」上で動作し、オープンソースのため、ArmやIntelなど他社の計算基盤にも拡張できるとしています。

ハードウェアによる監視と隔離

ハードウェア層では、データ処理用チップ「BlueField-4」を使う参照設計（システムの設計見本）「Sentry」が監視役を担います。Sentryは、AIエージェントが動作する経路とは別の経路（アウトオブバンド）で振る舞いを見張ります。エージェントが定義された範囲を超えて不正な操作や予期せぬ挙動を示そうとした場合、Sentryはミリ秒単位という極めて短い時間で当該エージェントを隔離します。ソフトウェアの囲いとは独立して、チップ側でもルールを強制する二重の構えです。

参加企業と提供状況

今回の発表には、Anthropic、Microsoft、SAP、CrowdStrike、Cisco、Palo Alto Networksなど、AI開発やセキュリティの企業が参加を表明しています。

企業導入における安全性の担保

企業が社内業務にAIエージェントを導入する際、最大の懸念事項は「AIが指示を超えて勝手にデータを操作したり、外部へ情報を送信したりすること」です。今回のプラットフォームは、AIモデル自体の賢さに依存するのではなく、システムの外側に「囲い」を設けることで安全を担保するアプローチをとっています。これにより、AIの推論能力を最大限に活用しつつ、企業が求めるガバナンス（統治）を維持することが可能になります。

開発者への提供と今後の展望

OpenShellなどのソフトウェアコンポーネントは、NVIDIAの開発者向けページを通じて提供が開始されています。企業は自社のAIエージェント開発において、これらのツールを組み込むことで、より堅牢なセキュリティ基盤を構築できます。特に、機密性の高いデータを扱う業務や、外部システムと連携するエージェントを構築する際には、こうしたハードウェアレベルの監視機能が重要な選択肢となるでしょう。

まとめ

• NVIDIAは、AIエージェントの暴走を防止する「Open Agent Safety Platform」を発表した。
• ソフトウェア「OpenShell」とハードウェア「Sentry（BlueField-4活用）」の二重構造で安全を確保する。
• OpenShellはオープンソースであり、他社計算基盤でも利用可能な設計となっている。
• Anthropic、Microsoft、SAP、CrowdStrikeなどが参加を表明した。
• 開発者向けページよりソフトウェアの提供を開始しており、企業は自社システムへの組み込みが可能である。

出典：NVIDIA