自分のサイトの robots.txt でクローラの制限を調べた2019年02月02日 14時09分16秒

robots.txt はサーチエンジン等の機械がウェブサイトにアクセスする時の希望事項を記したファイル。行儀の良い機械だと、このファイルを取得して、希望に沿ってアクセスを行う。しかし、ウェブサーバは誰がどの様にしてアクセスしているかを確認する手段が無い。その為、この要求に沿わなくても制限などをかける強制などは無い。

このブログは記事は自分で書くが、robots.txt を含めたサイトの保守は自分では行わない。その為、どの様に設定されているかは知らなかった。最近自分のサイトのメモ探しが Google でうまく見付けられなくなって着ているので、気になって調べてみた。

http://uyota.asablo.jp/robots.txt に設定されている。

User-agent: *
Crawl-delay: 10
全てのクローラに対して、十秒に一回に控えるように要求している。