Reddit の robots.txt を開いたら、全部断っていた。うちのは何年前の判断のままだろう

他所のサイトの robots.txt を見るのが、ちょっとした癖になっている。

アドレスの後ろに /robots.txt を付けるだけで誰でも読める。
どの巡回ロボットを通して、どれを断っているかが書いてあるので、そのサイトが何を気にしているかがなんとなく分かる。

先日、Reddit のものを開いてみた。
書いてあったのは、実質二行だった。
すべての相手に対して、すべてを断る、という内容だ。

あれだけ大量の書き込みがあって、検索でもよく上に出てくるサイトが、機械には全部断りを出している。
しばらく画面を見たまま考えてしまった。

何があったのか

robots.txt というのは、サイトの入口に置いておく紙のようなものだ。
検索エンジンの巡回ロボットや、AI が学習や回答のために読みに来るロボットは、まずこれを読む。
ここに通っていいところと駄目なところを書いておく。

僕が実際に取得した Reddit のものには、相手を区別する行がなかった。
全部にまとめて断りを出し、そのうえで「詳しくはこちらの方針を読んでほしい」という案内だけがコメントとして書かれていた。
公開されている書き込みそのものは誰でも読めるのに、機械にまとめて持っていかれるのは断る、という立場だと読める。

断ることに損がないわけではない。
ラトガース大学とペンシルベニア大学ウォートン校の研究者による分析では、robots.txt で AI 向けのロボットを断ったニュースサイトは、断ってから六週間のうちに週あたりの訪問がおよそ七パーセント減っていたという。
三十のドメインを軸にした分析だそうだ。
それでも断る側に回る会社が出てきている、というのがいまの状況だと思う。

もうひとつ、同じ時期に出ていた小さな調査が引っかかった。
Relevance という会社が五十のサイトの robots.txt を見たところ、十一サイト、割合にして二十二パーセントが、主要な AI 向けロボットのうち少なくともひとつを断っていた。
調べた本人は、それが方針として決めた結果には見えない、と書いている。
一度誰かが編集して、そのとき存在していた相手を断って、それきり戻ってきていないように見える、と。

僕がひっかかったところ

断るか通すかという話より、この最後のところが刺さった。

robots.txt は、書いた日のことを何も教えてくれない。
去年書いたものも、三年前に書いたものも、同じ顔をしてそこにある。
そして中身は、書いた時点で存在していた相手の名前しか並んでいない。

この二年ほどで、読みに来る相手の名前はずいぶん増えた。
学習のために読む相手と、利用者が質問したその場で見に来る相手が、別の名前で分かれていたりもする。
去年書いた設定は、去年の顔ぶれに対する返事でしかない。

気になって、自分のサイトのものを開いた。
うちは管理画面から生成する仕組みにしてあるので、いつ更新されたかがいちばん上にコメントで入る。
中身を見ると、断っていたのは二つだけだった。
ひとつは大量に集めて配っている団体のもの、もうひとつは動画アプリの会社のものだ。
残りは全部通していた。

通すと決めたこと自体は、いまでもそう間違っていないと思っている。
うちのような小さいサイトは、まず見つけてもらわないと何も始まらない。
ただ、それを決めたときと同じ理屈がいまも成り立っているかというと、自信を持って言えなかった。
そこが引っかかった。

もうひとつ思うのは、robots.txt は法律ではないということだ。
あれはお願いの紙で、読まずに入ってくる相手を止める力はない。
守る相手にだけ効く。
だから「断ったから安心」でもないし、「通しているから搾取されている」でもない。
どちらにしても、こちらの意思表示以上のものにはならない。

で、僕はどうするか

三つ決めた。

ひとつめは、年に一度は必ず開く。
サイトの中身を直すのと同じ頻度でいい。
開いて、いま並んでいる名前を見て、知らない名前が増えていないかを確かめる。
これをやらないと、判断ではなく放置になる。
放置は、断っているようにも通しているようにも見えて、実はどちらでもない。

ふたつめは、断るなら理由を一行書いておく。
robots.txt はコメントを書ける。
なぜこの相手を断ったのか、いつ決めたのかを一行残しておけば、次に開いた自分が判断できる。
あとから見て意味の分からない設定は、たいてい消せないまま残る。

みっつめは、通すと決めたぶんは、数え方のほうを変える。
AI の回答の中でうちの文章が使われても、訪問としては数えられない。
そこを追いかけても仕方がないので、僕は名前で検索されている数と、読み終わったあとに次のページへ進んでくれた数のほうを見ることにした。
通す判断をしたのに、通した先で何が起きているかを見ない、というのがいちばん中途半端になる。

Reddit のようにまとめて断るやり方は、あそこだから成り立つのだと思う。
断っても人が来るサイトと、断ったら誰も来なくなるサイトでは、同じ二行の重さがまるで違う。
うちは後者だ。
だから通す。
ただ、通していることを忘れないようにはしておきたい。

出典

• Reddit の robots.txt（2026年8月25日に取得して確認）
• Reddit Public Content Policy（robots.txt のコメントから案内されている方針）
• PPC Land「Blocking AI crawlers cost news publishers 7% of traffic, study finds」（ラトガース大学・ウォートン校の研究の紹介）
• Technori「Blocking AI Crawlers: 1 in 5 Sites Do It by Accident」（Relevance による50サイト調査／2026年8月18日）
• Google 検索セントラル「robots.txt の概要」