自分のサイトの robots.txt でクローラの制限を調べた ― 2019年02月02日 14時09分16秒
このブログは記事は自分で書くが、robots.txt を含めたサイトの保守は自分では行わない。その為、どの様に設定されているかは知らなかった。最近自分のサイトのメモ探しが Google でうまく見付けられなくなって着ているので、気になって調べてみた。
http://uyota.asablo.jp/robots.txt に設定されている。
全てのクローラに対して、十秒に一回に控えるように要求している。
User-agent: *
Crawl-delay: 10
コメント
トラックバック
このエントリのトラックバックURL: http://uyota.asablo.jp/blog/2019/02/02/9031564/tb
※なお、送られたトラックバックはブログの管理者が確認するまで公開されません。
コメントをどうぞ
※メールアドレスとURLの入力は必須ではありません。 入力されたメールアドレスは記事に反映されず、ブログの管理者のみが参照できます。
※なお、送られたコメントはブログの管理者が確認するまで公開されません。