自分のサイトの robots.txt でクローラの制限を調べた ― 2019年02月02日 14時09分16秒
このブログは記事は自分で書くが、robots.txt を含めたサイトの保守は自分では行わない。その為、どの様に設定されているかは知らなかった。最近自分のサイトのメモ探しが Google でうまく見付けられなくなって着ているので、気になって調べてみた。
http://uyota.asablo.jp/robots.txt に設定されている。
全てのクローラに対して、十秒に一回に控えるように要求している。
User-agent: *
Crawl-delay: 10
最近のコメント