OpenAI・Google・Microsoft、AI学習を断るrobots.txtの共通指定に対応へ

画像：AIエージェントナビ編集部

自社サイトの記事をAIの学習に使われたくない場合、これまではAI企業ごとのクローラー（サイトを巡回するプログラム）の名前を調べ、robots.txtに1社ずつルールを書く必要がありました。2026年10月30日、OpenAI、Google、Microsoftの3社は、「学習に使わないでほしい」という意思を1つの書き方で複数社にまとめて伝えられる共通の指定に対応すると、それぞれ発表しました。

本記事では、指定の書き方と、各社の対応時期や扱いの違いを解説します。

共通の指定「__usage_ai-training」の仕組み

robots.txtに1グループ書くだけ

使うのは、robots.txt（サイトがクローラーに巡回ルールを伝えるファイル）のUser-Agent行に書く「__usage_ai-training」という目印です。「User-Agent: __usage_ai-training」の下に「Disallow: /」と書けばサイト全体で学習を断る意思表示になり、「Allow: /press-kit/」のようにパスごとに許可・拒否を分けることもできます。新しい命令や書式は追加されず、いつものrobots.txtの書き方のまま使えます。

この指定は、IETF（インターネット技術の標準化団体）のAI Preferences作業部会の議論をもとに、Anthropic所属のK. Kelley氏が10月30日に提出した個人ドラフト（標準化前の提案文書・有効期限2027年5月3日）で定義されています。

「User-Agent: *」では意思表示にならない

ドラフトでは、全クローラー向けの「User-Agent: *」のグループはこの指定に当てはまらないとしています。「__usage_ai-training」の行が1つもないファイルは、学習について何の希望も示していない扱いです。また、この指定は巡回そのものを止める命令ではなく、使い方についての希望の表明で、個別の契約がある場合はそちらが優先されることがあります。

各社の対応時期と扱いの違い

OpenAIは「今後数か月」で実装

OpenAIは、共通の指定を今後数か月のうちに実装し、実装時に詳細を改めて公表するとしています。共通の指定は、同社がrobots.txtで提供している既存のクローラー制御を置き換えるものではなく、既存の設定も引き続き尊重されます。同社はIETFでの標準化の議論にも引き続き参加し、他のAI企業にもこの指定を尊重するよう呼びかけています。

Googleは2027年、Google-Extendedとして扱う

Googleは、他のAI企業とともに2027年の対応を目指すとしています。共通の指定で学習を断り、Google-Extended（2023年から提供している同社のAI学習用の設定）を個別に書いていない場合は、Google-Extendedを拒否したものとして扱う予定です。同社は、Google-Extendedを明示的に許可したサイトが、Geminiアプリの回答で根拠（グラウンディング）として表示・クリックされる対象になると説明しています。

Microsoftは2027年2月1日から

Microsoftは2027年2月1日から、巡回時に新しい指定を尊重します。学習の希望はrobots.txtのほか、ページ単位のmetaタグやX-Robots-Tag（HTTPヘッダー）でも指定でき、回答の根拠に使うかどうかの希望はページ単位でだけ指定できます。新しい指定は、同社がこれまで学習・グラウンディング向けに使っていたNoArchive・NoCacheの扱いを置き換えるもので、通常のBing検索結果への掲載には影響しないとしています。

まとめ

• OpenAI、Google、Microsoftが、AI学習を断る共通の指定「__usage_ai-training」への対応を2026年10月30日に発表
• robots.txtの「User-Agent: __usage_ai-training」グループで、複数のAI企業に学習の希望をまとめて伝えられる
• 対応時期はOpenAIが今後数か月、Microsoftが2027年2月1日、Googleが2027年
• 「User-Agent: *」はこの指定に当てはまらず、巡回を止める命令でもない
• 各社の既存の個別設定（Google-Extendedなど）は引き続き有効

出典：OpenAI／Google／Microsoft／IETF