AIクローラーを止める robots.txt の書き方 2026年版

robots.txt でAIの「学習」だけを止めることはできます。止める対象は GPTBot（OpenAI）・ClaudeBot（Anthropic）・Google-Extended（Google）・CCBot（Common Crawl）の4つで、検索と引用を担う OAI-SearchBot・Claude-SearchBot・PerplexityBot は残せます。ただし robots.txt は「お願い」で、守るかどうかは各社の任意です。国は2026年8月に、AI事業者側へ「robots.txt 等の機械可読な指示に従うクローラを採用し、ユーザーエージェントごとに公開する」ことを求めるプリンシプル・コードをまとめ、2026-10-26 から届出の受け付けを始めます。提出先は公表済みで、様式に記入したPDFをメールで送る方式です。

• 前回確認からの変化（2026-10-25 23:45）: 内閣府が届出の提出先を公表しました。提出はメール（i.ip-contents.m6m@cao.go.jp、公式ページでは迷惑メール対策で「@」を「※」と表示）、形式は様式に記入したPDF、件名は「プリンシプル・コード」に関する届出です。あわせて届出事業者一覧のページが開設され、項目は事業者名・届出日・備考の3つでした。この記事を最初に出した同じ日の夜の公表で、それまでは「届出先等は届出開始日にお知らせします」と書かれていました。
• 確定していること: ①各社のトークン名と役割（GPTBot は学習、OAI-SearchBot は ChatGPT の検索、ClaudeBot は学習、Claude-SearchBot は検索、Google-Extended は Gemini の学習とグラウンディング用の制御トークン、CCBot は Common Crawl、PerplexityBot は検索）②Google-Extended は独立したユーザーエージェントを持たず、Google 検索の掲載・順位に影響しないと公式が明記している ③Cloudflare は「robots.txt の遵守は任意」と公式ドキュメントに明記している ④内閣府のプリンシプル・コードは「法的拘束力を有する規範ではない」と本文に明記され、届出は 2026-10-26（月）から始まる ⑤届出の提出先・形式（PDF）・件名と、届出事業者一覧ページ（事業者名・届出日・備考）が公表されている。
• 未確定なこと: 各社が実際にどこまで robots.txt を守っているかは、当サイトでは実測していません（クロールログを持っていない）。届出事業者一覧は 2026-10-25 23:45 時点で掲載が0件で、第1号が出る時期・一覧の更新頻度・業界団体の反応はいずれも未公表です。Google-Extended を止めた場合に Gemini のグラウンディング（検索結果をモデルに渡す処理）がどこまで止まるかは、公式の説明以上は確認できていません。Anthropic 以外の各社が robots.txt の変更を反映するまでの日数も、OpenAI の「約24時間」以外は明記がありません。
• 読者への実際の影響: メディア・出版社・制作会社は「学習は止める／検索と引用は残す」設定を今日入れられます。EC・SaaS のようにAI検索経由の流入を残したい場合は、OAI-SearchBot・Claude-SearchBot・PerplexityBot を止めないでください。ただし robots.txt だけでは止まる保証がないので、契約・法的手段と組み合わせる前提で使います。AI事業者側（自社モデルを持つ企業）は、コードの原則1が求める「UAごとのクロール方針の公開と変更時の通知」の体制を、届出の有無にかかわらず準備する必要が出てきます。
• 次に注目する日付・出来事: 2026-10-26（プリンシプル・コードの届出の受付開始）。その次は届出事業者一覧の初掲載で、日付の予告はありません（内閣府は「掲載準備の関係で時間をいただく場合がある」と記載）。AI時代の知的財産権検討会の第14回は日程が公表されていません（2026-10-25 時点で第13回＝2026-08-18 が最新）。当サイトは四半期ごと（次回 2027-01-25）に各社ドキュメントを再確認します。
• 一次資料と最終確認日時: OpenAI「Overview of OpenAI Crawlers」、Anthropic「Does Anthropic crawl data from the web」、Google「Google's common crawlers」、Google「AI features and your website」、Perplexity「Perplexity Crawlers」、Common Crawl「CCBot」、Cloudflare「robots.txt setting」、内閣府「プリンシプル・コード」（日本語版PDF）、内閣府「プリンシプル・コードの策定及び届出」（提出先・様式）、内閣府「届出事業者一覧」。最終確認 2026-10-25 23:45

robots.txt は「誰に」「どこを」取得させないかを書くファイルです。AIに関係するのは次のボットで、同じ会社でも用途ごとに名前が分かれています。学習用を止めても、検索用を止めなければAI検索には残る、というのが実務での分かれ目です。

• OpenAI: GPTBot は「学習に使わせない」ためのトークン。OAI-SearchBot は ChatGPT の検索機能にサイトを出すためのボットで、止めると ChatGPT の検索結果に出なくなる（ナビゲーション用のリンクとして出ることはある）。ChatGPT-User は利用者の指示でページを開くもので、自動巡回ではないため robots.txt のルールが適用されない場合がある。robots.txt の変更は反映まで約24時間。
• Anthropic: ClaudeBot は学習用、Claude-SearchBot は検索用、Claude-User は利用者の指示でページを開くもの。公式は robots.txt を尊重すると明記し、Crawl-delay（取得間隔）にも対応する。IPアドレスを遮断すると robots.txt を読めなくなるため、確実なオプトアウトにならないと公式が注意している。設定はサブドメインごとに書く。
• Google: Google-Extended は独立したボットではなく、robots.txt の制御トークン。HTTPリクエストに Google-Extended という名前は出ず、取得自体は Googlebot が行う。止めると Gemini モデルの学習と、Gemini アプリ・Vertex AI のグラウンディングへの利用が対象外になる。Google 検索の掲載や順位には影響しないと公式が明記している。AI概要・AIモードは検索の一部なので、制御は Googlebot 側の robots.txt と、スニペット制御（nosnippet・data-nosnippet・max-snippet）・noindex で行う。
• Perplexity: PerplexityBot は検索結果にサイトを出すためのボットで、基盤モデルの学習用ではない。Perplexity-User は利用者の質問でページを開くもので、公式は「利用者が要求した取得なので robots.txt のルールを概ね無視する」と書いている。
• Common Crawl: CCBot はオープンなウェブアーカイブを作るクローラーで、そのデータは様々なモデルの学習に使われる。止めるには CCBot に Disallow を書く。CCBot を名乗る偽のクローラーがいるため、UA 文字列だけで判断せず、公式が公開する IP レンジと逆引きで確認する。オプトアウトのレジストリも案内されている。
• そのほか: Cloudflare は管理 robots.txt の機能で、Bytespider・Amazonbot・Applebot-Extended・Meta-ExternalAgent なども列挙している。各社の公式ドキュメントは本ページでは確認していません（未確認）。

robots.txt はサイト直下に1つ置くテキストファイルです。ボットごとに「User-agent:」の行と「Disallow:」の行を組にして書き、組と組のあいだは空行で区切ります。次の3つから選んでください。

• パターン1・学習だけ止める（迷ったらこれ）: GPTBot・ClaudeBot・Google-Extended・CCBot の4つについて、「User-agent: （トークン名）」の次の行に「Disallow: /」を書く。OAI-SearchBot・Claude-SearchBot・PerplexityBot には何も書かない（書かなければ許可になる）。ただし「User-agent: *」のグループで全体を Disallow している場合は、名前を指定した許可（Allow: /）を別に書く必要がある。
• パターン2・AI関連を全部止める: パターン1に加えて、OAI-SearchBot・ChatGPT-User・Claude-User・Claude-SearchBot・PerplexityBot・Perplexity-User も Disallow する。AI検索・AIアシスタントからの流入はほぼゼロになる。著作物の無断利用をとにかく止めたい権利者向け。
• パターン3・一部のパスだけ止める: 有料記事や会員限定の領域だけを止めたい場合は、「Disallow: /premium/」のようにパスを書く。パスは前方一致で判定される。トップページだけ許可して個別記事を止める、といった組み合わせもできる。
• 書いたあとに確認すること: ブラウザで https://自分のドメイン/robots.txt を開いて内容が返るか、Google 検索コンソールの robots.txt レポートで構文エラーが出ていないか、主要なボット名の綴りが公式ドキュメントと一致しているか。Cloudflare を使っている場合は、管理 robots.txt が自動生成した行と自前の行が混ざっていないかも確認する。

• すでに取得・学習されたデータ: robots.txt は今後の取得に対する指示です。学習済みのモデルの中身は変わりません。
• 守るかどうかは任意: Cloudflare の公式ドキュメントは「robots.txt の遵守は任意であり、ファイルは意思を示すだけで、技術的にアクセスを防ぐものではない」と明記しています。無視するクローラーもあります。
• 利用者が開くタイプのアクセス: ChatGPT-User や Perplexity-User は、利用者の操作でページを開くため robots.txt が効かない場合があります。
• Google-Extended のUA遮断: 独立したUAを持たないので、サーバー側でUAを見て遮断する方法では止められません。robots.txt に書くしかありません。
• IPアドレスの遮断: Anthropic は「IP遮断は robots.txt を読めなくするので、確実で持続的なオプトアウトにならない」と明記しています。Common Crawl は IP レンジを公開しているので、なりすましの判定には使えます。
• AI概要・AIモード: Google の説明では、これらは検索の機能であり、制御は Googlebot に対する robots.txt とスニペット制御で行います。Google-Extended を止めても AI概要には出続けます。
• Cloudflare のエッジ遮断: 管理 robots.txt の設定（Training を Disallow）と Bot Preference Sync を有効にすると、管理ディレクティブの生成に加えて AI 学習クローラーのエッジ遮断も行われます。これは robots.txt ではなく技術的な遮断なので、効果はより強くなりますが、対象は Cloudflare が把握しているボットに限られます。

• 何が決まったか: 内閣府知的財産戦略推進事務局が「生成AIの適切な利活用等に向けた知的財産の保護及び透明性に関するプリンシプル・コード」を公表しました。2026-08-18 の AI時代の知的財産権検討会（第13回）でパブリックコメントを踏まえた修正版（案）が示され、その後に本文・概要開示対象事項の具体例・届出様式が公開されています。
• 届出の開始日: 2026-10-26（月）。内閣府の特設ページに「令和8年10月26日（月）より受付を開始します」と記載されています。
• 届出の出し方（2026-10-25 に公表）: 様式（PDFまたはWord）に必要事項を記入し、PDF形式にしてメールで送ります。宛先は i.ip-contents.m6m@cao.go.jp（公式ページでは迷惑メール対策で「@」を「※」と表示しているため、※を半角の@に直して送る）、件名は「プリンシプル・コード」に関する届出です。自社サイトでの開示が難しい場合は、内閣府のサイト上に開示資料を掲載してもらう形になり、その資料をPDFで同じ宛先に送ります。書面提出・オンラインフォームの案内は確認できていません（2026-10-25 時点）。
• 届出事業者一覧: 内閣府が一覧ページを開設しました。項目は事業者名・届出日・備考の3つで、2026-10-25 23:45 時点では掲載が0件です。届出後に掲載準備の時間がかかる場合があると明記されています。つまり「届出した＝すぐ一覧に出る」とは限りません。
• 様式に書くこと: 届出様式（2026-09-08 公表）の記入項目は5つです。①事業者名 ②事業者の代表者名 ③本件受入れに係る担当者の氏名・職 ④当該担当者の連絡先（電話番号・メールアドレス）⑤当該事業者が公表したコーポレートサイト等のアドレス（複数サイトに掲載している場合は該当するアドレスをすべて）。公表されるのは①と⑤だけで、代表者名・担当者名・連絡先は公表されないと様式の注記に書かれています。
• 掲載の条件: 事務局は届出を受けた後、その事業者が現に事業を行っていること、コーポレートサイト等に受入れに係る事項が公表されていることを確認してから一覧に掲載します。先に自社サイトで公表していないと一覧には載りません（順序が決まっています）。
• 拘束力: 本文に「法的拘束力を有する規範ではない」と明記されています。コンプライ・オア・エクスプレイン方式で、原則を実施するか、実施しない理由を説明するかを求めます。受け入れる事業者は、コーポレートサイトでの公表と内閣府への届出を行い、原則として毎年見直します。内閣府は届出内容を審査せず、第三者からの照会にも回答しないとされています。
• robots.txt との関係: 原則1が求める「知的財産権保護のための措置」に、「ペイウォール等のアクセス制限や robots.txt 等の機械可読な指示に従うクローラの採用等に取り組むこと。権利者による適切な措置のため、ユーザーエージェントごとに上記の措置を公開し、変更時には通知すること」が入っています。つまり、コードに参加するAI事業者は、どのUAで来て、何を守るのかを公開することを求められます。
• 開示請求の枠組み: 原則2は、著作物について訴訟・調停・ADR を現に行っている（または準備している）者とその代理人からの求めに応じ、学習データに対象URLが含まれるかを開示する枠組みです。原則3は、生成物を作った者からの求めに応じ、類似コンテンツのURLが学習データに含まれるかを開示する枠組みです。濫用的な要求を防ぐため、手数料や回数の制限を設けることも想定されています。
• 権利者側の意味: 届出事業者の一覧が公表されれば、開示を求める窓口がどこかを外から確認できるようになります。ただし拘束力はないため、訴訟・差止めの代替にはなりません。現在係属している訴訟の状況は生成AI 著作権訴訟 一覧で追っています。

• メディア・出版社・制作会社（権利者側）: robots.txt に学習系4つ（GPTBot・ClaudeBot・Google-Extended・CCBot）の Disallow を入れ、AI検索系は残す。すでに締結しているライセンスや係争中の案件と矛盾しないかを法務に確認する。コードの届出状況は、取引先AI事業者が参加しているかの判断材料になる。
• EC・SaaS（流入を残したい側）: OAI-SearchBot・Claude-SearchBot・PerplexityBot は止めない。止めるのは学習系だけにする。UA ごとの可否を決めて、社内の記録に残す（後から「なぜ止めたか」を説明できるようにする）。
• AI事業者側（自社モデル・自社クローラーを持つ企業）: コードの原則1に備え、クロール方針をUAごとに公開するページと、変更時の通知手段を用意する。届出は任意だが、公表した内容は取引先・権利者への説明資料になる。届出の順序は「先に自社サイトで公表 → 様式をPDFでメール送付」で、逆にすると一覧に載らない。日本国内に本店が無い事業者も、日本向けに提供していれば対象になると本文に書かれている。
• Web担当者: 設定は1ファイルで完結するが、効果の測定にはサーバーのアクセスログが必要。当サイトでは各社の実際の遵守状況を測れていないため、断定はしていません。

• robots.txt を書けば法的に止められる？ いいえ。Cloudflare の公式ドキュメントもしっかり「遵守は任意」と書いています。日本では Perplexity 訴訟で robots.txt の効力そのものが争点になっており、Perplexity 訴訟のページで経緯を追っています。
• どのボットを止めれば Google 検索に影響しない？ Google-Extended は検索の掲載・順位に影響しないと公式が明記しています。Googlebot を止めると検索から消えるので、混同しないでください。
• ChatGPT の検索に出なくなるのはどれを止めたとき？ OAI-SearchBot です。GPTBot を止めても ChatGPT の検索結果には出られます（学習には使われません）。
• 設定の反映はどのくらいかかる？ OpenAI は約24時間と明記しています。Anthropic・Google・Perplexity・Common Crawl は反映日数の明記を確認できていません（未確認）。
• 学習を止めれば過去の分も消える？ 消えません。robots.txt は今後の取得に対する指示です。個人の会話データの扱いは生成AIに学習させない設定にまとめています。
• AI事業者側は何をすればいい？ コードの原則1に沿って、UAごとのクロール方針の公開と変更通知の体制を整え、必要なら 2026-10-26 以降に届出を行います。届出は任意で、自社サイトでの公表が先、PDF様式のメール送付が後です。
• 届出はどこに、どうやって出す？ 内閣府知的財産戦略推進事務局のメールアドレス i.ip-contents.m6m@cao.go.jp に、様式を記入してPDFにしたものを送ります。件名は「プリンシプル・コード」に関する届出です。公式ページでは迷惑メール対策で「@」が「※」と表示されているので、送るときは半角の「@」に直します。
• 届出すると会社名が公開される？ 一覧に載るのは事業者名と、公表したコーポレートサイト等のアドレスだけです。代表者名・担当者名・連絡先は公表されないと様式の注記に書かれています。
• 届出すれば一覧にすぐ載る？ すぐとは限りません。事務局が「現に事業を行っていること」と「サイトに受入れ事項が公表されていること」を確認してから掲載し、掲載準備に時間がかかる場合があると明記されています。

• OpenAI「Overview of OpenAI Crawlers」 — GPTBot・OAI-SearchBot・ChatGPT-User の役割、設定の独立性、反映まで約24時間
• Anthropic「Does Anthropic crawl data from the web, and how can site owners block the crawler?」 — ClaudeBot・Claude-User・Claude-SearchBot、Crawl-delay、IP遮断が効かない理由、サブドメインごとの設定
• Google「Google's common crawlers」 — Google-Extended が独立したUAを持たない制御トークンであること、検索への影響がないこと
• Google「AI features and your website」 — AI概要・AIモードの制御は Googlebot の robots.txt とスニペット制御（最終更新 2025-12-10 UTC）
• Perplexity「Perplexity Crawlers」 — PerplexityBot・Perplexity-User の役割、Perplexity-User が robots.txt を概ね無視すること、WAF の許可設定
• Common Crawl「CCBot」 — 停止の書き方、なりすましへの注意、IPレンジとオプトアウト・レジストリ
• Cloudflare「robots.txt setting」 — 遵守は任意であること、管理 robots.txt と Bot Preference Sync、エッジ遮断
• 内閣府「生成AIの適切な利活用等に向けた知的財産の保護及び透明性に関するプリンシプル・コード」（日本語版PDF） — 拘束力なし、コンプライ・オア・エクスプレイン、原則1の robots.txt 等の記述、原則2・3の開示請求
• 内閣府「AI時代の知的財産権検討会」開催状況・届出の告知 — 第13回（2026-08-18）、届出を 2026-10-26 から開始する旨、届出様式
• 内閣府「プリンシプル・コードの策定及び届出」 — 届出の受付開始日（令和8年10月26日）、提出先メールアドレス、PDF形式での提出、メール件名、自社HP開示が難しい場合の扱い（2026-10-25 23:45 確認）
• 内閣府「プリンシプル・コード 届出事業者一覧」 — 項目は事業者名・届出日・備考。2026-10-25 23:45 時点で掲載0件
• 内閣府「プリンシプル・コード 届出様式」（PDF） — 記入項目5つ、公表されるのは事業者名とサイトアドレスのみ、掲載前の確認事項
• 内閣府 第13回 資料1「プリンシプル・コード（仮称）（案）（パブリックコメント時点からの修正）」 — 案の段階の全文（本文の記述との比較用）

• 各社が実際に robots.txt をどこまで守っているか（当サイトにクロールログが無く、実測していない）。
• Anthropic・Google・Perplexity・Common Crawl が robots.txt の変更を反映するまでの日数。
• Google-Extended を止めた場合の、Gemini のグラウンディングへの影響範囲（公式の説明以上の詳細）。
• プリンシプル・コードの届出第1号が出る時期、一覧の更新頻度、業界団体の反応。
• 届出の受付が実際に 2026-10-26 の午前0時から機能しているか（開始前に様式と宛先が公表されただけで、受付開始後の動作は未確認）。
• AI時代の知的財産権検討会の第14回の日程。
• Bytespider・Amazonbot・Applebot-Extended・Meta-ExternalAgent の各社公式ドキュメントの内容（Cloudflare の管理リストへの掲載のみ確認）。
• 学習済みデータの削除を求める手段（各社のポリシーと、コードの原則2・3は開示の枠組みであって削除の枠組みではない）。