WordPressサイトで特定のボットやクローラーのアクセスをブロックする方法

以前Naibaが共有したようにWordPress検索ボットログを確認の方法で、ログからいくつかのスパム検索ボットが毎日必死にサイトをクロールしているのを見ましたが、トラフィックをもたらさず、インデックスにもほとんど登録されていません。ただクロールしているだけです。例えばYandexBot、DotBot、BLEXBotなどです。したがって、役に立たないのであれば、サーバーの帯域幅とリソースを占有させないように、これらの役に立たないスパムスパイダーをブロックしましょう。

robots.txtファイルを使用

robots.txtファイルは、サイトを作ったことがある人なら誰でも聞いたことがあるはずなので、ここではその役割についての説明は省略します。以下の内容を直接挿入して保存するだけで完了です。

User-agent: YandexBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User Agent Blockerプラグインを使用

User Agent Blockerプラグインは、.htaccessファイルを変更して、サイトをクロールさせたくないスパイダーやクローラーをブロックします。.htaccessファイルを直接変更するため、robotsプロトコルに従わないスパイダーやクローラーに対してより効果的です。プラグインのダウンロード先：ダウンロードリンク

nginx設定によるブロック方法

上記のプラグインは.htaccessファイルを変更するため、Apacheをウェブサーバー環境として使用しているサイトにのみ適しています。Naiba サイト構築ノートのようにnginxを使用している場合は、以下の方法でブロックできます。この方法はGitHubで共有されているもので、原文のアドレスは：https://github.com/mariusv/nginx-badbot-blockerInstallationセクションで詳細な使用方法が説明されています。簡単に言うと、自分の仮想ホストのnginx設定ファイル内で以下の2つの設定ファイルをインポートします。

include nginx-badbot-blocker/blacklist.conf;
include nginx-badbot-blocker/blockips.conf;

その後、nginxサービスを再起動すれば完了です。

セキュリティプラグインを使用してブロック

以前NaibaがおすすめしたWordPressにファイアウォールを導入しましょう！Wordfenceを試してみてくださいWordfenceのファイアウォール設定内で、特定のクローラーのアクセスを禁止したり、クロール頻度を設定したりすることもできます。クロール頻度が高すぎる場合は自動的にブロックされます。関連記事：迷惑スパイダーAhrefsBotのブロック方法 AhrefsBotクローラーIPリスト付き