日本のサイト248件中23件、robots.txtは許可でもAIクローラーには403

This story is from 2026-10-07. It is preserved in the archive; the latest stories are on the live feed.

日本のサイトで、robots.txtはAIクローラーを許可しているのに、サーバーの手前(CDNやWAF)ではそのクローラーに403を返している、という食い違いがどれくらいあるのかを数えました。2026-10-07の朝、Trancoのリストに載っている日本のサイト300件を1件ずつ確認したところ、ブラウザとして普通にページが返ってきた248件のうち23件で、robots.txtでは許可されているAIクローラーのUser-Agentに403が返りました。この記事は、その数字と内訳、層ごとの例、そしてこの測り方でわからないことです。先に限界(2026-10-07時点) User-Agentを名…