AI クローラーに、読ませるか、断るか。

HOW TO WRITE

AI クローラーを拒否する robots.txt の書き方（と、許可する書き方）

robots.txt は、サイトの一番上に置く文字のファイルです。User-agent に名乗りを書き、Disallow: / で「読ませない」、Allow: / で「読んでよい」を伝えます。学習だけ断りたいなら、GPTBot・ClaudeBot・Google-Extended・CCBot などを Disallow にし、OAI-SearchBot・Claude-SearchBot・PerplexityBot は Allow のままにします。上の道具の「学習だけ断り、検索と回答には読ませる」がその形です。Googlebot と bingbot を Disallow にすると、AI からだけでなく従来の検索からも消えます。robots.txt は「お願い」です。守らない収集者（Bytespider など）には効きません。それを止めるには配信側での遮断が要ります。

GPTBot とは、OpenAI が ChatGPT の基盤モデルの学習のために使う名乗りです。ChatGPT の検索の索引は OAI-SearchBot、人が ChatGPT で頁を開くときは ChatGPT-User と、三つに分かれています。

DECIDE

どれを断るべきか、の考え方

• 従来の検索（Googlebot・bingbot）は断らないGoogle の AI 概要と AI モード、Copilot と ChatGPT の検索は、この二つの索引の上に載っています。断ると AI からも消えます。
• 「AI の検索・回答の索引」は、引用されたいなら開くOAI-SearchBot・Claude-SearchBot・PerplexityBot は、答えの中で御社を根拠として引くための取得です。
• 「人の指示でその場で取りに来る」は、開くのが自然ChatGPT-User・Claude-User は、人が御社の頁を開こうとしたときに動きます。ブラウザで人が見るのと同じです。
• 「学習のため」は、方針で決めるGPTBot・ClaudeBot・Google-Extended・CCBot などは学習に使われることがあります。断っても検索と回答の索引には影響しない、と各社は書いています。
• Google が「不要」と明言したものに時間を使わないllms.txt のような特別な標識、AI 向けの頁の分割や書き換え、不自然な言及集め。Google は AI の機能に載るための追加の技術要件は無いとしています。

SYNTAX

robots.txt の書き方（文法の全部）

• 置く場所は、サイトの一番上https://example.co.jp/robots.txt のように、ドメインの直下です。下の階層に置いても読まれません。サブドメインごとに別のファイルが要ります。
• User-agent: で相手を指定し、続く行で Allow / Disallow を書く一つの塊（グループ）に複数の User-agent を並べられます。空行で塊が分かれます。* は全部の相手です。
• Disallow: / は「全部読ませない」、Disallow: だけ（値が空）は「全部読んでよい」Allow: / と書いても同じ意味です。特定の階層だけ断るなら Disallow: /admin/ のように書きます。
• 相手に一番よく当てはまる塊だけが使われるGPTBot 向けの塊があれば、GPTBot は * の塊を見ません。「* は全部許可、GPTBot だけ拒否」は、GPTBot 向けの塊に Disallow: / を書けば成立します。
• Allow と Disallow が両方当てはまるときは、長い（具体的な）方が勝つGoogle の実装ではこの規則です。Disallow: /docs/ と Allow: /docs/public/ なら、/docs/public/ は読めます。
• * と $ が使えるDisallow: /*.pdf$ で PDF だけ断る、のような書き方です。大文字と小文字は区別されます。
• Sitemap: の行は塊の外に書ける絶対 URL で書きます。複数あれば複数行です。
• robots.txt に noindex は書けないGoogle は 2019 年に robots.txt の noindex の扱いをやめました。索引から外したいときは、頁の meta robots に noindex を書き、robots.txt では読ませます（読めないと noindex が見えません）。
• Crawl-delay は Google が無視するbingbot など一部は読みます。速度を落としたいなら Search Console や Bing Webmaster の設定を使います。
• 文字は UTF-8、大きさは 500KB までGoogle はこの上限を超えた分を読みません。日本語のコメント（# で始まる行）は書けます。

kotaroasahina.com/robots.txt

BEYOND

robots.txt で止まらない相手を止めるには

• 配信側で名乗りごとに遮断するCloudflare の AI Crawl Control（旧 AI Audit）は、名乗りごとの来訪を数え、一つずつ止められます。当方の来訪の数字も配信の入口で数えています。
• 名乗りを偽る相手は、IP の範囲で見分けるOpenAI・Google・Perplexity は自社のクローラーの IP の範囲を公開しています。名乗りは GPTBot なのに範囲の外から来るものは偽物です。
• 読ませる代わりに対価を求める仕組みが始まっているCloudflare は 2025 年 7 月に、AI クローラーに取得ごとの支払いを求める仕組み（pay per crawl）を試験的に始めました。当方はまだ使っていません。読ませて引用される方が、いまの当方には価値があるからです。
• Bytespider のように robots.txt を守らないと報告される相手当方の 6 サイトにも 7 日で 1,447 回来ています。robots.txt で断っても来る場合は、配信側の遮断だけが効きます。

VERIFY

置いたあとの確かめ方

• ブラウザで開くhttps://自分のドメイン/robots.txt を開き、書いたとおりに表示されるか。文字化けしていれば UTF-8 で保存し直します。
• この頁の上の道具「AI にはこう見える」で読むAI クローラーを閉じていないか、Content-Signal が書かれているかを、機械が読む目で確かめます。
• Google Search Console の robots.txt レポートGoogle が最後に取得した内容と、取得できなかったときの理由が見えます。
• 配信側の記録で、名乗りごとの来訪を数える断ったはずの名乗りが来続けていれば、robots.txt を守っていない相手です。当方はこの数字を毎週見ています。

kotaroasahina.com/tools/ai-view/

SOURCES

出典

各社の名乗りと目的は、上の表の「公式の文書」から。Content-Signal の書き方は Cloudflare が 2025 年 9 月に公開した仕様に沿っています。来訪の回数は当方の 6 サイト（kotaroasahina.com・kuon-rnd.com・tango.blue・kuongeo.com・curanzsounds.com・kazokunomado.com）の記録で、月に一度更新します。

Cloudflare「Content Signals Policy」（2025年9月24日）↗　contentsignals.org（仕様の原文）↗　Google 検索セントラル「robots.txt の仕様」↗　IETF AIPREF 作業部会 ↗（取得 2026年9月21日）