AI学習の拒否をrobots.txtの共通トークンで──Google・Microsoft・OpenAIの導入時期と独自制御の違いから、D2C・事務所がページごとに決めること

Google、Microsoft、OpenAIは2026年10月30日（米国時間）、サイトのコンテンツを生成AIの学習に使ってよいかを、robots.txtの共通の書き方で示せるようにすると相次いで発表した。使うのは、__usage_ai-trainingという「ポリシートークン」だ。これまでは、AI企業ごとに別々の名前（Google-ExtendedやGPTBotなど）を調べて書き分ける必要があった。この1行を書けば、対応したすべての事業者にまとめて意思を伝えられる。仕様は、同じ日にIETFに提出されたインターネットドラフト「draft-kelley-aipref-training-preference-signal」で定められている。著者はAnthropicのKevin Kelley氏だ。

ただし、対応の時期は会社ごとに異なる。GoogleはSearch Centralブログで「2027年」と書いた。クローラーの説明ページでは「2027年の早い時期」としている。Microsoftは、Bingのブログで、2027年2月1日からクロールのたびに新しい設定を反映すると明記した。OpenAIは、今後数か月のうちに対応し、詳細はその際に公表するとしている（OpenAIの発表、Born City）。いま書いても、すぐに効くわけではない。検索エンジンに表示されるかどうかとは切り離されており、検索の対象から外れずにAI学習だけを断れる。

D2C・ECのブランドや事務所にとっての論点は、「全部拒否」か「全部許可」かではない。ページの種類ごとに、学習、検索、AIの回答での引用をどう扱うかを決めることだ。本稿では、3社の発表とIETFのドラフトを読み比べ、各社の導入時期と、Google-ExtendedやBingのページ単位設定などの独自制御を1つの表にまとめる。そのうえで、公式サイトやクリエイター紹介ページに当てはめた判断表と、robots.txtの記述例を示す。

何が決まったか──「1行で全社に伝える」共通トークン

robots.txtは、サイトのどこをクローラーに巡回させるかを伝えるためのテキストファイルだ。AIの学習を断りたいサイトは、これまでAI企業ごとのクローラー名やトークン名を調べて並べてきた。新しい仕様は、ここに用途別の「ポリシートークン」を持ち込む。IETFのドラフトによれば、新しい命令や文法は追加しない。RFC 9309で定められたいまのrobots.txtの書き方をそのまま使い、User-Agentの行にトークンを書くだけだ。

ドラフトの記述例をもとに、1行ずつ意味を整理すると次のようになる。

押さえておきたい点は3つある。1つ目は、このトークンが巡回を止める命令ではないことだ。ドラフトは、クローラーは自分の名前に向けたルールに従い続けると書いている。学習の可否は、取得した後の「使い方」についての意思表示として扱われる。2つ目は、ドラフトの立場だ。現在の版は-00で、IETFが承認したものではない個人ドラフトであり、2027年5月3日に期限を迎える。中身は今後の議論で変わりうる。3つ目は「学習」の範囲だ。ドラフトは、AIPREFワーキンググループの用語定義に合わせて、生成AIモデルの学習済みのパラメータを変えるためにコンテンツを使うことを指すとしている。

3社の導入時期と独自制御を1つの表に並べる

共通トークンができても、各社の独自制御はなくならない。Googleは、Google-Extendedなどの各社の制御は共通トークンと並んで使い続けられると書いている。OpenAIも、GPTBotやOAI-SearchBotのルールはそのまま有効だとしている。実務では、共通トークンと各社の制御がどう重なるかを知っておく必要がある。下の表は、各社の公式資料をもとに本稿が整理したものだ。

OpenAIのクローラーの役割はOpenAIの説明ページによるものだ。AnthropicのクローラーはAnthropicのヘルプ記事によるもので、ClaudeBotをブロックすれば、それ以降のコンテンツを学習データから外すよう求める意思表示になると説明している。どの発表にも、国や地域で適用を分ける記述はない。robots.txtはサイト単位の仕組みなので、日本のサイトもほかの国と同じ時期に対象になると読むのが自然だ。ただし、日本向けの個別の案内は、本稿では確認できなかった（11月2日時点）。

Googleでは「学習の拒否」と「Geminiでの引用」が一体になっている

表で最も注意したいのは、Googleの扱いだ。Googleのクローラーの説明ページによれば、Google-Extendedは、将来のGeminiのモデルの学習に使うかどうかだけを決めるものではない。Gemini AppsやVertex AIの「Grounding with Google Search」で、回答を作る際にGoogle検索のインデックスのコンテンツをモデルに渡す「グラウンディング」も、Google-Extendedで制御される。一方で、Google-ExtendedはGoogle検索の掲載にも順位にも影響しない、と明記されている。

そのうえでGoogleは、共通トークンで学習を拒否し、Google-Extendedを個別に指定していないサイトは、Google-Extendedを拒否したものとして扱う方針を示した。つまり、共通トークンでサイト全体の学習を断ると、Googleについては、Geminiの回答で引用されてクリックを得る機会も一緒に手放すことになる。Googleのブログは、Google-Extendedを明示的に許可しているサイトは、Gemini Appsの回答に表示され、グラウンディングを通じてクリックを得る対象のままだと書いている。Googleでは、学習を断ってグラウンディングだけ受ける設定は、発表の範囲では用意されていない。

Microsoftは、この2つを分けた。Bing Webmaster Toolsの運営元であるBingのブログによれば、学習（ai-training）とグラウンディング（ai-grounding）は別の設定になる。グラウンディングには「DisallowExtended」という値もある。これを選ぶと、Copilotや Microsoft 365などMicrosoftが運営するサービスでの利用は認め、Web IQやFoundryのAPIなど外部向けのグラウンディングには使わせない。OpenAIとAnthropicも、学習用と検索用でクローラーを分けている。学習を断りつつAIの検索での露出を保つ設計は、Google以外ではすでに組める。Google検索の側では、AIモードの広告など、AIと検索の境目にある変化をGoogleのAIモード広告の記事で整理した。

Microsoftの移行日程──NoArchive・NoCacheを使っているサイトは期限がある

導入の時期が最もはっきりしているのはMicrosoftだが、既存の設定から移行するための日程も併せて示されている。Microsoftは2023年から、NoArchiveとNoCacheのタグを、AIでの利用を制限する手段として案内してきた。新しい設定は、これらに置き換わる。すでにどちらかのタグを使っているサイトは、期限までに手続きをしないと、意図とは違う扱いになるおそれがある。

ページ単位の設定は、metaタグ（<meta name="Bingbot" content="ai-training:disallow">）か、HTTPヘッダーのX-Robots-Tagで書く。グラウンディングはai-grounding:disallowかai-grounding:disallowextendedで指定し、robots.txtでサイト全体を一括で設定する方法はない。何も設定しなければ、学習もグラウンディングも「許可」として扱われる。設定を書いても、Bingが再クロールするまでは反映されない。再クロールを促す手段としてIndexNowが案内されているが、時期の保証はない。Microsoftは、学習やグラウンディングを制限すれば、AIの体験の中でのブランドの露出が減る可能性があるとも書いている。許可しても、掲載や流入、対価が約束されるわけではない。

ページ別の判断表──公式サイト・商品ページ・クリエイター紹介ページ

ここからは、3社の仕様を事務所・D2Cのサイトに当てはめる。判断の軸は、そのページがAIに学習されたときに失うものと、AIの回答で引用されたときに得るものの比較だ。社名やサービスの説明のように、AIに正しく覚えてほしい情報もある。逆に、クリエイターの作品やプロフィール写真のように、本人や契約の都合で学習に使わせたくないものもある。下の表は、本稿が各社の公式資料の仕様をもとに整理した目安で、実際に設定して効果を確かめた結果ではない。

表の中で最も判断が割れるのは、クリエイター紹介ページとオリジナル作品だ。事務所のサイトに載っている写真やプロフィールは、事務所の判断だけで扱いを決めてよいとは限らない。ブランドがクリエイターの投稿を広告に使う場面と同じく、誰の意思で、どこまで使わせるかを決めておく必要がある（Pinterestでブランドがクリエイターのピンを広告に使う記事）。PR案件の契約で二次利用の範囲を決める考え方は、二次利用込みのPR案件で決めるべき7項目の記事が参考になる。AI学習の可否を、契約の確認項目の1つに加える事務所も出てくるだろう。

この表を、事務所のサイトに当てはめた記述例を示す。クリエイター紹介（/creators/）とコラム（/column/）は学習を拒否し、プレスキット（/press/）は許可する。一方で、Geminiの回答に会社概要が引用される機会を残すため、Googleについては会社概要（/company/）だけGoogle-Extendedを許可する、という設計だ。

注意点がある。Google-Extendedのグループを書いた時点で、Googleについては共通トークンより個別の指定が意味を持つ。共通トークン側で拒否したパスを、Google-Extendedのグループでも漏れなく拒否しておかないと、意図せず許可したことになりかねない。全クローラー向けのUser-Agent: *のグループは、共通トークンの意思表示としては数えられない。いまのrobots.txtが*だけで書かれているサイトは、AI学習については何も意思表示をしていないことになる。

法的な位置づけ──robots.txtは「意思表示」で、鍵ではない

共通トークンは、技術的にアクセスを止める仕組みではない。IETFのドラフトは、トークンを「意思表示」として定義しており、事業者との個別の契約がある場合はそちらが優先されうるとも書いている。Microsoftも、この設定はコンテンツの使い方についてのもので、巡回の可否を決めるものではないと説明する。対応を表明していない事業者のクローラーには、そもそも効かない。また、ドラフトにも各社の発表にも、すでに学習に使われたデータを取り除く仕組みは書かれていない。設定は、これから先の利用についての意思表示だと考えたほうがよい。

規制との関係では、Googleは今回の提案が、EUの汎用AIモデル提供者向けの行動規範（Code of Practice）と整合すると説明している。この行動規範は、robots.txtを、機械が読める形で意思を示す主な手段と位置づけている。EUで進むAI規制の全体像は、EU AI法第50条の記事で扱った。日本では、著作権法第30条の4の下でAI学習のための利用がどこまで認められるかについて、文化庁の「AIと著作権に関する考え方について」（2024年3月）が解釈を示している。共通トークンは、この法律上の扱いを変えるものではない。自社のコンテンツが無断で使われた場合にどう対応するかは、意思表示を残したうえで、個別に専門家と確かめる必要がある。

いま事務所・D2Cが決めておくこと

3社とも、共通トークンへの対応は2027年以降、またはこれからだ。それでも、方針を先に決めておく意味はある。Microsoftの移行には2026年12月15日からの手続きがあり、Googleの対応時期が「2027年の早い時期」と幅を持たせて示されている以上、対応が始まってから社内で議論すると間に合わない場面が出てくる。準備として決めておけることは、次のとおりだ。

• いまのrobots.txtを読む：GPTBot、ClaudeBot、Google-Extendedなどの個別の指定が、誰の判断で、いつ書かれたかを確かめる。User-Agent: *だけなら、AI学習の意思表示はしていない
• ページの種類ごとに方針を決める：上の判断表をもとに、学習、検索、AIの回答での引用を分けて決める。サイトのディレクトリ構成が方針と合っていなければ、パスの整理から始める
• Googleの扱いを理解して決める：共通トークンで拒否すると、Geminiでの引用の対象からも外れる。引用を残したいページは、Google-Extendedで個別に許可する
• Bingの期限を確かめる：NoArchiveやNoCacheを使っているなら、12月15日以降にBing Webmaster Toolsで一時的な設定を登録し、2027年3月1日までにページ単位の設定に移す
• クリエイターと取り決める：紹介ページや作品をAI学習に使わせるかを、所属・契約するクリエイターと確かめ、契約書の確認項目に加える
• 反映を確かめる担当を決める：OpenAIの詳細公表とGoogleの対応開始を追い、設定が読まれているかを確かめる担当者を置く

今回の共通トークンで、「検索には出たいが、AI学習には使わせたくない」という意思を、各社に同じ形で伝えられるようになる。ただ、Googleで学習と引用がつながっているように、意思表示の効き方は会社ごとにまだそろっていない。IETFのドラフトも-00版の段階で、内容は変わりうる。事務所・D2Cにとって現実的なのは、ページごとの方針をいま決めておくことだ。そのうえで、各社の対応が始まる時期に合わせてrobots.txtとページ単位の設定を更新すればよい。

本記事は、株式会社TORIHADAが運営するクリエイターエコノミー専門メディア「CREATORS POST」がお届けしました。最新のマーケティング・クリエイター動向を、実務目線で発信しています。

TORIHADAに無料相談する →

この記事はAIを活用して書いています。