主要AIクローラー一覧とrobots.txtの正しい設定方針｜学習禁止と検索引用（GEO）を両立させる制御術

1. AIクローラーの2大区分：「基盤モデル学習用」と「リアルタイム検索用」

多くのWebマスター、セキュリティエンジニア、オウンドメディア編集長が直面している深刻なジレンマがあります。

「自社の独自コンテンツやソースコードが、OpenAIやGoogleの大規模言語モデル（LLM）の事前学習データとして無断で吸収されるのは防ぎたい。しかし、ChatGPT SearchやGoogle AI Overviews、Perplexityからの検索アクセス流入や推薦引用は絶対に逃したくない…」

この課題を解決するために不可欠なのが、AIクローラーには「モデル事前学習用（Training Crawler）」と「リアルタイム検索用（Search Crawler）」の2種類が明確に分離されているという技術的知識です。

多くの企業が、セキュリティ製品の初期設定や「AI拒否」のテンプレートをそのまま適用した結果、「AI検索エンジンからのユーザー流入が完全にゼロになり、競合他社だけが独占的に推薦される」という致命的な機会損失を招いています。

robots.txtのディレクティブを正しく書き分ければ、「モデル学習は拒否しつつ、検索と引用は100%許可する」という高度なハイブリッド制御が可能です。

2. 多層アクセス制御アーキテクチャ図解（WAF・robots.txt・HTTPヘッダー）

AIボットがWebサイトを巡回する際、Webサーバーとの間でどのような検証レイヤーを通過しているかを整理したアーキテクチャ図です。

【AIクローラーに対する多層アクセス制御パイプライン】

  [AIクローラーのリクエスト発信 (GPTBot / OAI-SearchBot / PerplexityBot)]
       │
       ▼ (第1層: エッジネットワーク / WAF判定)
  【Cloudflare / AWS CloudFront WAF】
   ・Bot Management / Bot Fight Mode の判定
   ・※ここで403 Forbiddenになるとrobots.txtすら読まれずに即死！
       │ (通過)
       ▼ (第2層: robots.txt プロトコル判定)
  【/robots.txt の User-agent別 Allow / Disallow チェック】
   ・User-agent: GPTBot ➔ Disallow (学習データ収集を遮断)
   ・User-agent: OAI-SearchBot ➔ Allow (リアルタイム検索引用を許可)
       │ (通過)
       ▼ (第3層: HTTPレスポンスヘッダー判定)
  【X-Robots-Tag: noai, noimageai】
   ・Next.js Route Handler や Nginx から特定ページのみ学習拒否ヘッダーを返却
       │ (通過)
       ▼ (第4層: HTMLメタタグ・セマンティクス解析)
  【<meta name="robots" content="index, follow">】
   ・HTML内のテキスト・構造化データ・llms.txtを抽出
       │
       ▼
  【AI検索インデックスへの格納 ＆ 回答引用カードの生成！】

3. 主要AIクローラー10種完全一覧表と役割・影響度

主要なAI企業が運用している代表的クローラーの最新仕様一覧です。

4. 間違えると検索流入が激減するrobots.txtの典型的な失敗例3選

Webサイトのリニューアルやセキュリティ見直しの際に多発している危険な設定例です。

失敗例①: 全ボットに対して一括で拒否を設定してしまう

# ❌ 最悪の例：Google検索からもAI Overviewsからも自社が消滅する
User-agent: *
Disallow: /

開発環境（Staging）のrobots.txtを誤って本番環境にデプロイしてしまい、オーガニック流入もAI露出も一夜にして消失するトラブルが後を絶ちません。

失敗例②: OAI-SearchBotやPerplexityBotまでブロックしてしまう

# ❌ 失敗例：AI検索からのアクセス流入を自ら放棄している
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: PerplexityBot
Disallow: /

GPTBot（学習用）だけでなく、ユーザーが実際に検索しているOAI-SearchBotやPerplexityBotまで遮断しているため、見込み客がChatGPTに「おすすめのツール」を質問した際に自社が一切表示されなくなります。

失敗例③: Googlebotを拒否してGoogle-Extendedだけ許可する

GoogleのAI Overviewsは、Googlebotが収集した検索インデックスを基盤として動作しています。Googlebotを拒否すれば、AI Overviewsにも当然表示されません。

5. 【コピペ用】用途別おすすめ設定コード（ハイブリッド型・完全開放型）

企業のポリシーに合わせて選択できる、そのままコピペして使えるrobots.txtテンプレートです。

パターンA: 【推奨】学習拒否 ＋ AI検索流入最大化（ハイブリッド型）

自社コンテンツの無断学習はブロックしつつ、ChatGPT Search、Google AI Overviews、Perplexityからの集客は最大化する、現在最もバランスの取れた標準設定です。

# 通常の検索エンジンクローラーは許可
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# AI検索用クローラー（リアルタイム検索・引用）は許可
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# AIモデル事前学習用クローラーは拒否
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# サイトマップとllms.txtの所在を明記
Sitemap: https://example.com/sitemap.xml

パターンB: 全AIへの露出を最優先する完全開放型

スタートアップや新興SaaSなど、「知名度獲得と言及シェア最大化が最優先」の企業向けです。

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

6. 【高度な制御コード】Next.js・Nginx・CloudflareでのX-Robots-Tag設定術

robots.txtはファイル単位での大まかな制御しかできませんが、HTTPレスポンスヘッダーのX-Robots-Tagを用いれば、「特定の有料会員ページやAPIエンドポイントのみAI学習を禁止（noai）」という精密な制御が可能です。

Next.js 15（App Router）での設定例

next.config.ts でカスタムヘッダーを設定します。

// next.config.ts
import type { NextConfig } from 'next';

const nextConfig: NextConfig = {
  async headers() {
    return [
      {
        // 有料記事や会員専用ページのみAI学習を禁止
        source: '/members/:path*',
        headers: [
          {
            key: 'X-Robots-Tag',
            value: 'noindex, noai, noimageai',
          },
        ],
      },
    ];
  },
};

export default nextConfig;

Nginxでの設定例

location /premium-reports/ {
    add_header X-Robots-Tag "noai, noimageai";
}

7. 重大アンチパターン：Cloudflare「Bot Fight Mode」によるサイレント遮断の罠

セキュリティ強化のためにCloudflareやAWS WAFを導入している企業で、最も頻発している重大インシデントが「WAFの自動ボット遮断機能によるAI検索エンジンの巻き込み」です。

なぜ「サイレント遮断」が起きるのか？

Cloudflareの「Bot Fight Mode（無料版）」や一部の攻撃検知ルールは、PerplexityBot や新興のAIクローラーを「不審な自動スクレイピングスクリプト」と誤認し、HTTPステータスコード 403 Forbidden（またはJS Challenge画面）を返却して即座にキックします。

このとき、Webサイトの管理画面やGoogle Analyticsには何のエラーも表示されません。「アクセスログを見てもクローラーが来ていない」「robots.txtではAllowにしているのに、なぜかPerplexityに引用されない」という不可解な現象の9割は、WAFによるエッジ遮断が原因です。

解決手順

Cloudflareの管理画面 ➔ 「Security」 ➔ 「WAF」 ➔ 「Custom Rules」にて、(http.user_agent contains "PerplexityBot") or (http.user_agent contains "OAI-SearchBot") を条件とした「Skip（セキュリティチェック除外）ルール」を最優先順位で配置してください。

8. よくある疑問（FAQ）：AIクローラー遮断の法的是非と影響

Q1. robots.txtのDisallowには法的な強制力がありますか？

robots.txtはWeb標準のプロトコル（紳士協定）であり、法的な強制力を持つわけではありません。しかし、OpenAI、Google、Anthropic、Perplexityなどの主要AI企業は、公式にrobots.txtのディレクティブを遵守することを明言しています。

Q2. 設定を変更してからAI検索に反映されるまでどれくらいかかりますか？

各社のクローラーキャッシュによって異なりますが、通常は数日〜2週間程度で最新のrobots.txtが反映され、クローリングの挙動が変化します。

9. まとめ：GEORankで主要AIクローラーのアクセス状況を即座に診断しよう

robots.txtとWAFの適切なチューニングは、GEO対策における「インフラの生命線」です。

自社では正しく設定したつもりでも、WAFのサイレント遮断や記述ミスの1文字が原因で、何千万円ものビジネス商談機会を競合に奪われている可能性があります。

自社サイトが現在、AI検索クローラー（OAI-SearchBotやPerplexityBot）から正常に読み取れる状態にあるかどうかは、GEORankの無料サイト構造診断（/audit） で10秒で機械判定できます。まずは自社URLを入力してチェックしてみましょう。あわせて、GEOサイト構造診断の15項目チェックリストやChatGPTやPerplexityに推薦されない5大原因と改善チェックリストもご参照ください。