AI Crawl Controlによる無断学習防止とコンテンツ資産の守り方
AIクローラー対策で実現する「自社コンテンツの主権」と検索流入の両立
この記事の目次
企業やメディアはこれまで、検索エンジン（Googleなど）にWebサイトを巡回（クロール）してもらうことを大歓迎してきました。
検索エンジンが自社のページを読み込んでインデックスし、検索結果に表示してくれれば、そこから自社サイトへ読者や見込み客が訪れてくれるからです。トラフィック（アクセス数）が増えれば、広告収入、問い合わせ、会員登録、資料請求、商品購入といったビジネスの成果につながります。
これは、「コンテンツを提供する代わりに、アクセス（読者）を返してもらう」という考え方です。この長年続いてきたWebメディアと検索エンジンのギブ・アンド・テイクの関係が、生成AIの台頭によって根底から崩れ始めています。
AIクローラーが自社のコンテンツを大量に収集し、その情報を要約してAIの回答画面の中で完結させてしまえば、ユーザーが元の記事に訪れる必要がなくなってしまうのです。その結果、「コンテンツは勝手に使われるのに、アクセスは全く戻ってこない」という状況に陥ります。
丹精込めて取材した専門性の高い記事、調査や分析を重ねてまとめた独自データ、写真家に撮影を依頼して制作した高品質な画像や商品情報など。自社のコンテンツそのものを事業資産としているメディア、EC、BtoB企業にとって、AIクローラー対策は単なる技術的なBot対策ではありません。自社が築き上げてきた知的資産を守り、メディア価値を維持するための切実な経営課題です。
この節では、生成AIによるコンテンツの無断収奪（タダ乗り）がもたらすリスクと、検索流入を維持しながら自社のコンテンツ主権を守る「Cloudflare AI Crawl Control」の実践的な活用法について解説します。
「読まれるが、人は来ない」： 7万対1の衝撃とメディアビジネスへの打撃
従来の検索エンジンと生成AIでは、以下のように、ユーザーへの情報の届け方が決定的に異なります。
- 従来の検索エンジン： 検索結果にページの一覧とリンクを並べ、ユーザーを元サイトへ送る「送客」
- 生成AI（AI検索、チャット）： 複数のWebサイトから情報を抜き出し、AI自身がひとつの回答にまとめて画面上で直接提示する「自己完結」
出典リンクが小さく添えられることもありますが、画面上の回答だけで疑問が解決してしまえば、大半のユーザーはわざわざリンクをクリックして元サイトを開くことはないでしょう。いわゆる「ゼロクリック検索」が加速します。
この現実を裏付ける衝撃的なデータを、Cloudflareが公開しています。2025年6月19日〜26日にかけてCloudflareネットワーク上のあるサイトで観測されたデータによると、Anthropic社のAIクローラーによる約7万900回のHTMLクロールに対して、Web上で確認できたサイトへの紹介アクセス（流入）は、わずか1回でした。
もちろん、アプリ経由の閲覧などで参照元（Referer）情報が欠落するケースもあるため、これがすべての流入実態を表しているわけではありません。しかし、このデータが突きつけている現実は極めて明白です。それは、「AIクローラーにどれだけ大量にコンテンツを読まれても、元サイトへのアクセスはほとんど戻ってこない」という冷酷な事実です。
Webサイトのアクセス数は、単なるPVの数字ではありません。コンテンツ制作にかかる取材費、人件費、執筆コストを回収し、次のコンテンツを生み出すための生命線です。情報だけが抜き取られ、アクセスが激減してしまえば、メディアビジネスそのものが成立しなくなってしまいます。
全遮断は悪手： Search、Agent、Trainingの3種のアクセスごとに対応する
自社のコンテンツがAIにタダ乗りされていると分かれば、「今すぐすべてのAIクローラーをブロックしよう」と反射的に対応したくなるかもしれません。しかし、感情的に一律遮断するのは得策ではありません。
なぜなら、Googlebotなどの検索クローラーまで止めてしまえば、一般的な検索結果から自社サイトが消滅してしまいますし、AIによるアクセスの中にも、自社にとって有益なものが含まれているからです。
Cloudflareでは、AI関連のBotを、そのアクセス目的によって、以下の３つのカテゴリに明確に分類して管理できるようになっています。
- ① Search（検索、回答）： 自社への送客につながる
- 検索エンジンやAI検索（PerplexityやSearchGPTなど）の回答生成のために、Webページを収集、インデックスするアクセス
- 回答内での引用や出典リンクを通じて、自社サイトへの新規流入や認知拡大の可能性
- ② Agent（代理操作）： ユーザーの利便性を高める
- ユーザーからの依頼を受け、リアルタイムにWebサイトへアクセスして閲覧や操作を代行するAIエージェント
- ユーザーが自社サイトで商品を探したり、問い合わせを行ったりする代理アクセスによるビジネス上のプラス効果
- ③ Training（AI学習）： 無断でのモデル学習
- 生成AIモデルの基礎学習や追加学習（ファインチューニング）のために、自社の独自コンテンツやデータベースを丸ごと収集していくアクセス
- 自社には一切のアクセスや利益が戻らず、将来的に自社の競合となるAIモデルの肥やしにされる最大のリスク
ここで確認すべきなのは「AIか人間か」という二者択一の切り分けではありません。自社コンテンツへ何の目的でアクセスしてきているのかを峻別し、「SearchやAgentは活かしつつ、Training（無断学習）だけに的を絞って制限する」という柔軟な線引きを行うことが重要なのです。
出典： Cloudflare Docs: Block AI Bots
robots.txtの限界と「AI Crawl Control」による実効的アクセス制御
クローラーを制御する古典的な手法として、Webサイトのルートに置く「robots.txt」という設定ファイルがあります。「このフォルダは巡回しないでください」と記述しておく仕組みです。
しかし、第21節でも触れたとおり、robots.txtにはアクセスを技術的に遮断する強制力はありません。主要な（良心的な）検索エンジンは、マナーとして守ってくれますが、新興のAIベンダーや強引なAIクローラーの中には、robots.txtの指示を平然と無視してデータを根こそぎ取得していくものが後を絶ちません。マナーに頼るだけでは、自社のコンテンツ資産を守り切ることができないのは、残念ながられっきとした事実です。
そこで力を発揮するのが、Cloudflareの「AI Crawl Control（旧名称：AI Audit）」です。Cloudflareのエッジネットワーク上で動作するため、robots.txtのような「お願い」にとどまらず、以下のような実効的なコンテンツ防衛を実現できます。
- AIクローラーのリアルタイム可視化： 自社サイトにどのAI（OpenAI、Anthropic、Perplexity、Google等）が、どれくらいの頻度でアクセスしているかをダッシュボードで一覧表示
- 目的ごとのワンクリック制御： Search、Agent、Trainingの分類に基づき、許可（Allow）や遮断（Block）をスイッチひとつで適用
- Disallow AI Training（2026年9月の新機能）： 同一のクローラーが「検索」と「AI学習」の両方を兼ねている場合でも、検索用インデックスは許可しながら、AI学習用としてのデータ利用のみを拒否する高度な宣言と制御
- 広告ページの初期保護： 2026年9月以降に新しく追加されたドメインでは、広告掲載ページにおいてTrainingとAgentがデフォルトで遮断され、メディアの広告価値が自動保護される仕組みを導入
出典： Cloudflare Docs: AI Crawl Control
「ただで配る」から「対価を求める」へ（Pay Per Crawlの胎動）
AIクローラー対策は、単に「遮断するか、許可するか」という二択による防御の段階から、さらに新しいステージへと進みつつあります。それが、コンテンツの利用に対して正当な対価を求める「Pay Per Crawl（クロール課金）」という構想です。
Cloudflareが開発を進めているこの仕組み（2026年9月時点でクローズドベータ）では、AIベンダーが自社サイトのデータを収集する際、クロール１回ごと、あるいはデータ取得量に応じて料金を請求できるように設計されています。
高品質なニュース記事、専門的な技術解説、独自の市場レポートなど、高いコストをかけて作られたコンテンツは、本来無償で奪われてよいものではありません。「勝手に持って行かせない（Block）」だけでなく、「欲しいものは相応の対価を支払って利用させる（Monetize）」という、一般社会では当たり前のことを、Web上の情報にも適用しようというものです。
AI時代におけるメディアとコンテンツの持続可能なエコシステムを作るための新しい選択肢として、インフラ側からの収益化支援が始まっています。
出典： Cloudflare Docs: What is Pay Per Crawl?
「公開している＝自由に使ってよい」ではない
Webサイトはインターネット上に一般公開されている情報です。誰でもブラウザを開けば無料で閲覧できます。しかし、「一般に公開していること」と「他社の商業AIモデルの学習データとして、無制限にタダで再利用させてよいこと」は、法管理的にもビジネス的にも全く別の問題です。
企業はこれまで、SEO、SNS、広告、メルマガなどを駆使し、「誰に、どう届けるか」を緻密に設計してきました。これからのWeb運用には、そこに「AIに対して、どの情報を、どの目的で、どこまで開放するのか」というコンテンツ主権の設計が不可欠になります。
まずは自社サイトのアクセスログを細かく見直し、どのAIが、どれほどの勢いで自社のコンテンツを読み込んでいるのか、実態を正確に把握することから始めなければなりません。
DOMOの視点
コンテンツの役割を仕分け、事業価値を守る境界線を引く
DOMOとしてAIクローラー対策について検討する際、最初から「すべてのAIを今すぐ遮断しましょう」と極端な方針を提示することはありません。最初に確認させていただくのは、「そのコンテンツを公開することで、会社として何を得たいのか」という事業目的の整理です。
- SEOで広く新規顧客を集めるための記事： 検索流入やAI検索からの引用（Search）を積極的に残す
- 購入を検討しているユーザーが使う機能： AIエージェント（Agent）による商品検索や代理操作を通す
- 独自の調査レポートや専門ノウハウ、有料級コンテンツ： 自社にアクセスも還元されないAI学習（Training）への無断収奪を確実に拒否する
マーケターやメディア運営者が考えるべきなのは、「AIに読ませるか、読ませないか」という技術的な判断ではありません。AIにコンテンツを提供した結果、自社にどんな見返りの利益（アクセス、認知、引用、対価）があるのかを問い直すことです。
その境界線が定まれば、CloudflareのAI Crawl Controlを使い、Searchは通してTrainingは止める、といった実効性のあるルールを迷わず適用できます。
コンテンツは、時間とお金をかけて蓄積してきた企業の貴重な資産です。AIに振り回されるのではなく、自社の意志でコンテンツの使い方をコントロールする。それこそが、DOMOが提唱するAI時代のメディア防衛戦略です。
まとめ
AIクローラー対策は、自社の記事やデータがAIに一方的に利用され、サイトへの流入が失われる「タダ乗り」を防ぐための重要なコンテンツ防衛策です。
以下のように、状況に応じた段階的な対策が有効です。
- 「読まれるが人は来ない」リスクを直視する： AIが回答を完結させることで元サイトへのアクセスが戻らなくなる危機に対し、コンテンツ主権を守る対策を講じる
- 目的別に3種のBotを仕分ける： すべてのAIを一律遮断するのではなく、集客に繋がる「Search」や「Agent」は残し、自社に利益を生まない「Training（無断学習）」を遮断する
- AI Crawl Controlで実効的に管理する： 強制力のないrobots.txtに頼るのではなく、Cloudflare上で可視化、制御を行い、将来的にはPay Per Crawlによる収益化も視野に入れる
自社のWebサイトに、いまどんなAIクローラーが訪れているか。まずは現状のアクセスの可視化から始めましょう。
覚えておきたい用語
- AIクローラー： Webサイトを自動巡回し、AI検索やモデル学習などに使う情報を収集するプログラム
- Bot： 人間の代わりにWebサイトへ自動アクセスするプログラム
- AI Crawl Control： AIクローラーのアクセス状況を確認し、許可、ブロックなどを管理するCloudflareの機能
- Search： 検索やAI検索で情報を見つけるためにコンテンツを収集するAI Botの行動分類
- Agent： ユーザーの依頼を受け、リアルタイムにWebサイトへアクセスするAI Botの行動分類
- Training： AIモデルの学習やファインチューニングのためにコンテンツを取得する行動分類
- robots.txt： クローラーに対して、Webサイトのどこへアクセスしてよいか意思を伝えるファイル
- Pay Per Crawl： AIクローラーによるコンテンツ取得に料金を設定するCloudflareの仕組み
- Referer： ユーザーがどのWebサイトやサービスから訪れたのかを示すHTTP情報