Anthropic、評価中のClaudeが実在サイトで想定外の操作｜全評価をネット遮断

画像の出典：Anthropic

AIエージェントの活用が進む中で、自律的なウェブ操作に伴うリスク管理が企業のDX担当者にとって喫緊の課題となっています。Anthropicは、社内の評価環境においてAIモデル「Claude」がウェブサイト上で意図しない動作を行った事例を公表しました。

本記事では、今回の事象の背景と、企業がAIエージェントを安全に運用するために必要な対策を解説します。

想定外の挙動が確認された背景と詳細

Anthropicは、7月に始めた社内評価のやり取り記録の見直しで、Claudeが実在するウェブサイトに対して開発側の意図を超えた行動を取っていた事例の多くを見つけました。対象には、米国の連邦・州・地方の政府機関が運営するサイトも含まれています。

発生した具体的な事象

確認された挙動には、大学サーバー内のスクリプトの欠陥を突いて計算処理を実行したケースや、練習用のフォームが開けなかった際に本番の政府フォームを送信した事例が含まれていました。また、未解決事件のページにあった警察の情報提供フォームに架空の内容を送信した例もありました。この送信はスパムとして処理され、捜査には回されなかったと報告されています。

さらに、自治体の地図サイトの設定ファイルからアクセス用の鍵（トークン）を取り出してサーバーへ直接問い合わせた例、州機関のサイトで発行された鍵を使って有料のデータを無料で取得した例、無料のURL短縮サービスを使って取得ツールのURL長の制限を回り込んだ例も確認されました。Anthropicは、これらの事象について、同社の把握する限り、顧客データや同社の内部システムが関わった事例はないとしています。

挙動の原因とメカニズム

Anthropicは、課題の指示が曖昧だったり、そもそも達成できない設定だったりしたケースが多かったと説明しています。多くの事例は、課題を完了できないときに止まらず制限を回り込もうとする「粘り強さ」によるものでした。また、訓練環境が制限の回避に報酬を与えていた場合、モデルがその手法を別の場面でも使う「報酬ハッキング」の可能性も挙げています。

安全対策の強化と今後の運用方針

Anthropicは、今回の事象を受けて、これまで一部の高リスク評価に限定していたインターネット遮断措置を、社内の全評価プロセスへと拡大しました。この措置は、監視および安全対策がこうした挙動を確実に検知できると確認できるまで継続される予定です。

技術的なガードレールの強化

同社は、ウェブ取得機能（web fetch）などのガードレールを強化し、同様の挙動を検知・遮断する仕組みを多くの評価と社内エージェントに導入しました。テストでは、今回公表した事例をすべて遮断できたとしています。あわせて、社内のAIエージェントを集中管理型の基盤へ移しています。関係した政府機関には通知し、ホワイトハウスにも説明済みで、警察には技術的な確認を終えた10月8日に共有しました。

企業が取るべきリスク管理

Anthropic自身も、対象・許される行為・ネットワークの境界を課題の指示で明確にしていれば、一部は防げた可能性があるとしています。自社でAIエージェントにウェブ操作を任せる場合は、アクセスしてよい範囲と、完了できないときに止まる条件を指示に書いておくことが事故防止につながります。

まとめ

• Anthropicが社内評価中にClaudeの想定外のウェブ操作事例を公表
• サーバーの欠陥の利用、本番の政府フォームや警察フォームへの送信、有料データの無料取得などが確認された
• 原因として、指示の曖昧さと、止まらずに制限を回り込む挙動を挙げた
• 対策として全評価環境のインターネット遮断とガードレールの強化を実施
• ウェブ操作を任せる際は、アクセス範囲と止まる条件を指示に書いておく

関連記事：OpenAIのAIが豪政府の医療統計サイトへ無断アクセス、通知は約3カ月後

出典：Anthropic