robots.txtでAI学習の可否を伝える共通の合図｜OpenAIの発表と確認点
この記事の要点
- robots.txtの共通の合図で、AI学習の可否を複数の提供元へ一度に伝えられる
- OpenAIの実装は今後数か月以内。合図の書き方は公式の続報を待つ
- GPTBotなど既存の指定は有効のまま。学習と検索を分ける手順は本文に
OpenAIは2026年10月30日、robots.txtに書く共通の合図を尊重すると発表しました。サイトの文章や写真を生成AIの学習に使わせたいかどうかを、この合図に参加するAIの提供元へまとめて伝えられるようになります。ただし、OpenAIの実装は今後数か月以内の予定で、発表ページには合図の書き方が載っていません（2026年11月3日時点）。
この記事は、自社サイトの情報をAIにどう扱わせるかを決める立場の経営者・担当者と、WordPressなどでサイトを管理している担当者に向けたものです。読み終わる頃には、学習と検索のどちらを許可するかを社内で決め、今のrobots.txtで指定できる設定を書ける状態を目指します。
Contents / 目次
OpenAIの発表で変わることと、まだ決まっていないこと
変わるのは、AI学習に使わせるかどうかの意思を、提供元ごとに別々のルールで書かなくても伝えられるようになる点です。これまでは、各社のクローラーの名前を調べ、提供元ごとに個別のルールを書き分ける必要がありました。発表の題は「Making it easier for websites to express AI training preferences」で、ウェブサイトがAI学習についての希望を表明しやすくする、という趣旨です。
robots.txtとは、サイトのドメインの直下にあるテキストファイルで、クローラー（ページを自動で巡回して集めるプログラム）ごとに、どのURLを取得してよいかを書くものです。今回の合図も、このファイルに書き足す形になります。
発表ページで確かめられることと、確かめられないことを分けると次のとおりです。
| 項目 | 発表ページで確かめられること（2026年11月3日時点） |
|---|---|
| 発表日 | 2026年10月30日 |
| 伝えられる内容 | 基盤となる生成AIの学習に、サイトのコンテンツを使ってよいかどうか |
| 伝える相手 | この合図に参加するAIの提供元。一度に同じ設定を伝えられる |
| OpenAIの実装時期 | 今後数か月以内の予定。実装するときに、詳細を改めて知らせるとしている |
| 合図の書き方 | 発表ページには記載なし。OpenAIの続報を待つ |
| 既存のrobots.txtの指定 | 置き換えられない。既存のクローラーの制御は引き続き適用・尊重される |
| ほかの提供元 | 自主的な取り組み。OpenAIはほかの提供元にも尊重するよう呼びかけている |
| 対象プラン・提供地域・料金 | 記載なし |
| 背景 | IETF（インターネットの技術標準を議論する団体）のAI Preferencesワーキンググループの作業に基づく |
出典はOpenAIの公式発表「Making it easier for websites to express AI training preferences」です。ほかのAIの提供元がいつから同じ合図を尊重するかは、OpenAIの発表には書かれていないため、各社の公式の発表で確かめる必要があります。
今すぐ取りかかれることは、次の3つです。
- 自社サイトのコンテンツを、AI学習に使わせてよいものと使わせたくないものに分ける
- 学習とAI検索での表示を分けて、どちらを許可するかを決める
- 今のrobots.txtを開き、既存の指定で書ける設定を先に書く
AI検索に自社の情報がどう表示されるかを先に知りたい方は、BtoB企業のAI検索対策の5ステップから読むと、学習と検索の違いがつかみやすくなります。
この章の結論。今回の発表で、合図の書き方と実装時期はまだ確定していません。決めておけるのは「何を学習に使わせるか」という社内の方針と、今の指定で書ける設定です。
AI学習を許可するか止めるかを決めて、robots.txtに書く手順
手順は次の5つです。
- コンテンツの仕分け
- 学習と検索の分離
- 今のファイルの確認
- 既存の指定での記述
- 続報への備え
合図の書き方が公表される前でも、ステップ4までは今日から進められます。
ステップ1 サイトのコンテンツを3つに分ける
最初に、サイトにある文章と写真を種類ごとに分けます。会社案内や製品紹介のように広く知られてよいものと、独自のノウハウや撮影した写真のように価値の源になっているものでは、学習に使わせるかの判断が分かれるからです。
| 区分 | 例 | 判断の目安 |
|---|---|---|
| 広く知られてよい情報 | 会社概要、製品の仕様、プレスリリース、採用情報 | 学習に使われても困りにくい |
| 独自の価値がある情報 | コラム、事例記事、撮影した写真、料金表、技術資料 | 経営者が許可するかを決める |
| 公開すべきでない情報 | 社員や顧客の写真・氏名、会員向けの資料 | robots.txtではなく、公開をやめるかログインの後ろに移す |
3つ目の区分はrobots.txtで対処する話ではありません。個人情報の扱いの考え方はAIに入力してはいけない個人情報の線引きでも解説しています。
ステップ2 学習と検索を分けて決める
AIの「学習」と「検索での表示」は別の仕組みです。学習は、AIのモデルを改善するためにページを集めることです。検索での表示は、ChatGPTの検索機能の回答に、サイトが表示されることを指します。
OpenAIのクローラーの公式説明（Overview of OpenAI Crawlers）では、学習用のGPTBotと検索用のOAI-SearchBotを別のクローラーとして分け、robots.txtでそれぞれ独立して指定できると説明しています。たとえば、OAI-SearchBotを許可して検索結果に表示されるようにしながら、GPTBotを禁止して、生成AIの基盤モデルの学習に使わないよう示せます。
| 方針 | 学習 | 検索での表示 | 向いている状況 |
|---|---|---|---|
| A | 許可 | 許可 | 認知を広げたい。独自の記事が少ない |
| B | 止める | 許可 | 記事や写真を学習に使わせたくないが、問い合わせの入口は残したい |
| C | 止める | 止める | コンテンツそのものが商品。AI経由の訪問を求めていない |
ステップ3 今のrobots.txtを開いて読む
ブラウザのアドレスバーに「https://自社のドメイン/robots.txt」と入力すると、今の内容を表示できます。次の項目を確かめてください。
- User-agent: * の行：すべてのクローラーに向けた指定があるか、どのURLを止めているか
- GPTBot・OAI-SearchBotの行：すでに個別の指定があるか
- Disallow: / の行：サイト全体を止める指定が、意図しないクローラーに付いていないか
- Sitemap の行：サイトマップのURLが今のサイトのものか
内容の意味が読み取れないときは、AIに説明を依頼すると早く進みます。たたき台は次のとおりです。
次はわが社のサイトのrobots.txtです。
User-agentごとに、取得を許可しているURLと止めているURLを表にしてください。
表の列は「User-agent」「許可」「禁止」「意味の説明」にしてください。
ボットの名前から提供元を推測した場合は、推測と分かるように書いてください。
［ここにrobots.txtの内容を貼り付ける］返ってきた表は、ボットの名前と提供元の対応を、各社の公式ドキュメントで1つずつ確かめてください。AIは実在しないボット名を挙げたり、学習用と検索用を取り違えたりすることがあります。あとは対話しながら、自社の方針に合う書き方を詰めてください。
ステップ4 既存の指定で今できる設定を書く
方針B（学習は止め、検索での表示は許可する）の場合、OpenAIについては今の指定で次のように書けます。既存の User-agent: * のルールがあるなら、それも残します。
# すべてのクローラー向けの既存のルール（［自社の既存の内容をそのまま残す］）
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# OpenAIの学習用クローラーを止める
User-agent: GPTBot
Disallow: /
# OpenAIの検索用クローラーは許可する（管理画面などは既存のルールと同じく止める）
User-agent: OAI-SearchBot
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://［自社のドメイン］/sitemap.xmlOAI-SearchBotのグループに User-agent: * と同じ Disallow と Allow の行を入れているのは、個別のグループを作ったクローラーは User-agent: * のルールを読まなくなるためです。
ステップ5 続報が出たら共通の合図を書き足す
OpenAIは、実装するときに詳細を改めて知らせるとしています。公表されたら、ステップ2で決めた方針どおりに合図を書き足します。それまでは、推測した書き方を本番のファイルに入れないでください。
決めた方針は、社内のAIの利用ルールと同じ文書に記録すると、担当者が替わっても引き継げます。ルールの項目は生成AI社内ルールの12項目のひな形を参考にできます。
この章の結論。共通の合図は、公式の書き方が出てから足せば間に合います。
WordPressのサイト担当者が確認する4つの点
WordPressのサイトでは、robots.txtがどこで作られているかによって編集の方法が変わります。書いた内容が実際に配信されているかまで確かめてください。
- 実ファイルか自動生成か。WordPressには、robots.txtの内容を自動で作って返す仕組みがあります（WordPress.orgの開発者向け資料「do_robots()」）。サーバーにrobots.txtの実ファイルを置いた場合は、通常そのファイルが配信されます。
SEOのプラグインには、サーバー上の実ファイルを直接書き換えるものと、自動生成の内容に書き足すものがあります。使っているプラグインの説明で方式を確かめ、どこで管理するかを1つに決めます。 - サーバーやCDNの遮断。セキュリティのプラグインやCDN（ページを高速に配信するサービス）が、知らないボットを自動で遮断していることがあります。その場合、robots.txtで許可してもクローラーはページを取得できません。
- 反映の確認。保存後にブラウザで robots.txt のURLを開き、書いた行が表示されるかを確かめます。キャッシュのプラグインやCDNを使っているなら、キャッシュを消してから確かめます。
- 管理する担当者。制作会社に保守を任せている場合は、誰がファイルを書き換えられるかを確かめます。
制作会社に依頼する場合は、次の文面を使えます。
件名 robots.txtの確認と修正のお願い
いつもお世話になっております。
当社サイトのrobots.txtについて、次の2点をお願いできますでしょうか。
1. 今のrobots.txtが、実ファイル・WordPressの自動生成・プラグインのどれで作られているか
2. 次の方針に合わせた修正
・OpenAIの学習用クローラー（GPTBot）はサイト全体を禁止
・OpenAIの検索用クローラー（OAI-SearchBot）は許可
・既存のUser-agent: * のルールは維持
あわせて、セキュリティのプラグインやCDNでAIのボットを遮断する設定があれば教えてください。
修正後は、公開中のrobots.txtの内容を共有いただけると助かります。この章の結論。robots.txtを書き換えても、作られ方やCDNの設定によっては反映されません。公開中のURLを開いて、書いた行が出ているかを最後に確かめます。
robots.txtでAI学習を止めるときの失敗と誤解
AI学習を止める設定では、学習と検索の取り違えと、robots.txtの読まれ方の誤解が失敗につながります。どれも今回の共通の合図を足すときにも起きうるものです。
GPTBotのグループを作ると、User-agent: * のルールが効かなくなる
User-agent: * で管理画面などを止めているサイトに、GPTBotやOAI-SearchBotの個別のグループを足すと、そのクローラーは個別のグループだけを読みます。robots.txtの仕様（RFC 9309）では、クローラーは自分の名前に一致するグループに従い、一致するグループが無いときだけ User-agent: * のグループに従うと定めているためです。
個別のグループには、止めたいURLをもう一度書き足してください。共通の合図を書き足すときも、同じことを確かめます。
学習を止めるつもりで、検索用のクローラーまで止める
「OpenAIのボットを全部止める」と書くと、検索用のOAI-SearchBotも止まります。OpenAIのクローラーの公式説明では、OAI-SearchBotを拒否したサイトはChatGPTの検索の回答に表示されないとしています（ナビゲーション用のリンクとしては表示されることがあります）。学習を止めたいだけなら、止めるのはGPTBotです。
発表前の書き方を推測して、本番のファイルに入れる
共通の合図は、OpenAIの実装が今後数か月以内の予定です。発表ページには書き方が載っておらず、OpenAIは実装するときに詳細を改めて知らせるとしています（2026年11月3日時点）。推測で書いた行は、意図どおりに読まれない可能性があります。
また、発表は既存の制御を置き換えないとしているので、GPTBotの行は残したまま続報を待ちます。
robots.txtで止めれば非公開になると考える
robots.txtは、クローラーに取得を控えるよう求めるものです。URLへのアクセスそのものを防ぐ仕組みではありません。公開すべきでない資料は、ログインの後ろに移すか公開をやめてください。
この章の結論。止めたいのが学習か検索かをボットの名前で確かめ、個別のグループには既存の禁止ルールを書き足します。共通の合図は、公式の書き方が出るまで本番に入れません。
robots.txtの共通の合図についてのよくある質問
共通の合図を書いたら、GPTBotの行は消してもいいですか？
消さずに残してください。OpenAIの発表は、新しい合図が既存のrobots.txtの制御を置き換えるものではなく、既存の指定も引き続き尊重するとしています。実装の時期もまだ「今後数か月以内」の予定なので、続報で扱いが示されるまではGPTBotの行を残すのが確実です。
AI学習を止めると、ChatGPTの検索に自社サイトが出なくなりますか？
GPTBotだけを止めるなら、検索用のOAI-SearchBotの指定は変わりません。OpenAIのクローラーの公式説明では、この2つは独立した設定で、OAI-SearchBotを許可して検索結果に表示されるようにしながら、GPTBotを禁止できるとしています。新しい合図も、robots.txtで提供している既存の制御を置き換えるものではないと発表されています。合図を書き足すときは、OAI-SearchBotの指定を変えていないかを確かめてください。
日本の会社のサイトでも、この合図は使えますか？
発表ページには、提供地域や対象プランの記載がありません（2026年11月3日時点）。robots.txt自体は国を問わず同じ形式のファイルです。
すでにAI学習に使われた記事や写真は、合図を書けば外されますか？
発表ページには、すでに集められたデータの扱いについての記載がありません。合図は学習に使ってよいかの希望を伝える仕組みとして説明されています。過去のデータについて確かめたい場合は、OpenAIの公式の案内を確認してください。
まずはブラウザで「https://自社のドメイン/robots.txt」を開き、GPTBotとOAI-SearchBotの行があるかだけ確かめてください。学習を止めたあとにAI検索での見え方を確かめたい方は、AI検索での自社の見え方を確かめる手順も参考になります。
サイトの情報をAI学習に使わせるかの方針と、社員がAIに入力してよい情報は、同じ会社の判断として決めておくと担当者が迷いません。経営者と担当者が一緒に、会社の情報をAIに渡す前の確認方法を学ぶ経営者と担当者で学ぶAI活用研修もご用意しています。いまの状況を伺うところからでも、お気軽にご相談ください。
仕事で使えるAI活用情報をLINEで
AIの活用ポイントと、DX・AXコラムをお届けします。登録後のアンケートでは、活用例や指示文、業務に使える資料、社内導入の情報など、受け取りたいテーマを選べます。
通常は金曜日12:10、週0〜1回程度の配信です。コラムのお知らせは、アンケート未回答でも受け取れます。
LINEでAI活用情報を受け取る（新しいタブで開きます）個別のご相談
サービスの選び方やご依頼について、ご相談いただけます。
相談する
