以前Naibaが共有したようにWordPress検索ボットログを確認方法を紹介し、そのログから、YandexBot、DotBot、BLEXBotなどのゴミ検索ロボットが毎日無駄にサイトをクロールし、トラフィックももたらさず、インデックスもされず、ただ楽しんでクロールしていることがわかりました。
役に立たないので、サーバーの帯域幅とリソースを占有させないように、これらの無駄なゴミスパイダーをブロックしましょう。
robots.txtファイルを使用
robots.txtファイルは、ウェブサイトを運営したことがある人なら誰でも聞いたことがあるはずなので、ここではその役割について説明しません。
以下の内容を直接挿入して保存すれば完了です。
User-agent: YandexBot Disallow: / User-agent: DotBot Disallow: / User-agent: BLEXBot Disallow: /
User Agent Blockerプラグインを使用
User Agent Blockerプラグインは、.htaccessファイルを修正して、サイトにクロールに来る不要なスパイダーやクローラーをブロックします。
.htaccessファイルを直接修正するため、robotsプロトコルに従わないスパイダーやクローラーに対してより効果的です。
プラグインのダウンロードURL：
nginx設定によるブロック方法
上記のプラグインは.htaccessファイルを修正するため、Apacheをウェブサイト環境とするサイトにのみ適しています。Naibaサイト構築ノートのようにnginxを使用している場合は、以下の方法でブロックできます。
この方法はGitHubで共有されているものです。原文アドレス：https://github.com/mariusv/nginx-badbot-blocker
Installationセクションで詳細な使用方法が説明されています。
簡単に言うと、自分の仮想ホストのnginx設定ファイルに以下の2つの設定ファイルをインクルードします。
include nginx-badbot-blocker/blacklist.conf; include nginx-badbot-blocker/blockips.conf;
その後、nginxサービスを再起動すれば完了です。
セキュリティプラグインを使用してブロック
以前NaibaがおすすめしたWordPressにファイアウォールを導入しましょう！Wordfenceを試してみてください
Wordfenceのファイアウォール設定で、特定のクローラーのクロールを禁止したり、クロール頻度を設定し、クローラーの頻度が高すぎる場合に自動的にブロックすることもできます。