2026.09.12業界のうごき

Cloudflareが「広告のあるページ」だけAIクローラーを締め出すことにした｜9月15日から、うちには関係のない話のはずだった

Cloudflareが9月15日から、広告のあるページでAIの学習・エージェント用クローラーを既定でブロックすることにした。
うちのサーバーはCloudflareを経由していないから、関係ない話のはずだった。

今日、自分のサイトのサーバーが何を使っているか、あらためて確認した。
curl -Iで返ってきたヘッダーにはServer: nginxとだけ書いてあり、Cloudflareを経由した形跡はなかった。
きっかけは、Cloudflareが2026年9月15日からAIクローラーの扱いを変える、というニュースだった。

変わるのは「広告のあるページ」から

Cloudflareは2026年7月1日、二回目の「Content Independence Day」と称してAIトラフィックの扱いに関する変更を発表した。
クローラーを「Search（検索）」「Training（学習）」「Agent（エージェント）」の三種類に分け、サイト運営者がそれぞれ個別に許可・拒否できるようにする仕組みだ。
9月15日からは、新しくCloudflareに登録するサイトと、設定を変更していない無料プランの既存ユーザーについて、広告の載っているページに限りTrainingとAgentのクローラーが既定でブロックされる。
Search用のクローラーだけは、これまでどおり許可される。

検索・学習・エージェントを一本にまとめた兼用型のクローラーも珍しくない。
Cloudflareの説明では、こうした兼用型は挙動のすべてで判定される。
学習をブロックする設定にしていれば、検索を兼ねているクローラーであっても、広告のあるページでは弾かれる。

線引きの基準が「広告があるかどうか」だった

ひっかかったのは、対象を選ぶ基準の説明だった。
Cloudflareのブログには、広告は人が訪れて見ることを運営者が意図している証拠であり、事業を支える収益化の対象だ、という趣旨のことが書いてあった。
守る対象を「良質なコンテンツかどうか」ではなく「収益になっている場所かどうか」で線引きしている。
筋は通っているが、価値の基準がいつの間にか経済的なものに置き換わっていることに、素直に頷けない自分もいた。

関係ない話にしなかった理由

うちのサーバーはCloudflareを経由していないから、9月15日になっても表向きは何も変わらない。
それで終わりにしてもよかったが、自分のrobots.txtがAIクローラーに対して何を許可しているのか、今回のニュースをきっかけに見直した。
以前Reddit の robots.txt を開いたら、全部断っていたという話を書いたが、あのときのうちのrobots.txtも何年も前の判断のまま放置されていた。
Cloudflareのように広告の有無で線を引く発想はうちにはなかったが、うちにも広告を載せているページとそうでないページがある。

AdSenseの審査結果は来週出る予定で、通れば広告の載るページが今より増える。
そのページをAIの学習用クローラーにどこまで開けておくか、Cloudflareを使っていなくてもrobots.txtの一行で自分の意思表示はできる。
インフラの外側にいるからといって、その判断まで免除されるわけではなかった。