robots.txt

WordPress は、記事の更新状況により robots.txtを自動生成してくれる。通常は自動生成されたrobots.txt に従いクローラがチェックしてくれる。ただし、NGINX に以下のような設定をしていたところアクセスができなくな...