9月15日から、うちのサイトもAIに読まれなくなるかもしれない
Cloudflareが既定の設定を変える。
対象に「既存の無料利用者すべて」と書いてあって、手が止まった。
Cloudflareの告知を読んでいて、途中で手が止まった。
対象のところに「既存の無料利用者すべて」と書いてあったからだ。
うちの小さなサイトも、その無料の中に入っている。
何があったのか
2026年9月15日から、Cloudflareは既定の設定を変える。
広告を載せているページに対して、用途の混ざったクローラーを初期状態でブロックする、という内容だ。
対象は三つ。
新しくCloudflareを使い始める人。既存の利用者がこれから作る新しいサイト。そして、既存の無料利用者すべて。
有料で使っている既存のサイトはそのままで、無料のところだけ設定が切り替わる形になる。
背景にあるのは pay per crawl という仕組みだ。
クローラーが取りに来たときに、HTTPの402という滅多に見ない番号を返して、値段を提示する。
クローラー側がその値段に同意して取り直せば、はじめて200が返る。
これがいま pay per use という形に広がろうとしている。
取りに来た回数ではなく、その中身がAIの回答に使われて価値を生んだときに払ってもらう、という考え方だ。
最初の相手は Ceramic.ai と You.com の二社だと書いてある。
Cloudflare側の言い分としては、AIのクローラーが投げてくるリクエストの半分以上は、前と変わっていないページの取り直しらしい。
CEOのマシュー・プリンス氏は、インターネットの通信の多数派が人間でなくなった以上、もっと踏み込んで早く動く必要がある、という趣旨のことを言っている。
僕がひっかかったところ
ひとつめ。設定が変わるのが、いちばん設定を見ていない層だということ。
無料で使っている個人サイトは、たいてい入れっぱなしだ。
9月15日に何かが変わったことにすら、たぶん気づかない。
ふたつめ。「広告を載せているページ」という線引きが、思ったより読みにくい。
アフィリエイトのリンクを貼っているだけのページがどちらに数えられるのか、告知を読んだかぎりでは僕には判断がつかなかった。
うちのサイトはまさにその形なので、他人事にできない。
みっつめ。ブロックされて損をするのは誰なのか、という点。
新聞社なら、AIに読まれなくなっても名前で読者が来る。
個人サイトは、AIの回答に混ぜてもらえなくなった時点で、見つけてもらう経路がひとつ消える。
守るための話に見えて、体力の差がそのまま出る話でもあると思う。
で、僕はどうするか
まず9月15日より前に、自分のところの設定画面を開けるようにしておく。
変わってから慌てるのと、変わる前に場所を知っておくのとでは、後の手間がまるで違う。
次に、いま実際どれくらいAI経由で人が来ているのかを測る。
ゼロなら止めても痛くないし、それなりにあるなら止めない理由になる。
数字を持たないまま「たぶん来ていない」で決めるのが、いちばん危ない。
そのうえで、僕はたぶん止めない側を選ぶ。
個人でやっているうちは、ただで読まれる不利より、読まれない不利のほうが大きい気がしている。
気が変わったら、そのときにまた設定を開けばいい。
robots.txt に書くのとは別の層の話だ、という点も忘れないようにしたい。
こちらは自分のサーバーより手前で止まるので、書いた覚えのない挙動として現れる。