WordPressサイトで特定のボットやクローラーのアクセスをブロックする方法

前面奶爸分享过查看WordPress搜索机器人日志的方法，然后从日志里面看了一些垃圾搜索机器人天天没命的抓取网站，还带不来流量也没有什么收录，就是抓着好玩，例如YandexBot、DotBot、BLEXBot 所以，既然没用，就不要占用我服务器带宽跟资源了，屏蔽掉这些没用的垃圾蜘蛛吧。

使用robots.txt文件

robots.txt文件做过网站的人应该都听说过，所以这里就不给你科普它的作用了。 直接插入下面这些内容保存，就可以了。

User-agent: YandexBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

使用User Agent Blocker插件

User Agent Blocker这款插件通过修改.htaccess文件来阻止你不想要来你网站抓取的蜘蛛和爬虫。 因为是直接修改的.htaccess文件，所以对于那些不遵循robots协议的蜘蛛和爬虫来说就更加有效。 插件下载地址： ダウンロードURL

nginx配置屏蔽方法

上面的插件是修改.htaccess文件，所以只适合apache为网站环境的网站，像奶爸建站笔记使用的是nginx，那么就可以通过下面这个方法来屏蔽。 这个方法是github上分享的，原文地址：https://github.com/mariusv/nginx-badbot-blocker 在Installation段介绍了详细的使用方法。 简单说就是在自己虚拟主机的nginx配置文件里面引入下面两个配置文件

include nginx-badbot-blocker/blacklist.conf;
include nginx-badbot-blocker/blockips.conf;

然后重启nginx服务就可以了。

使用安全插件屏蔽

之前奶爸推荐过WordPressにFirewallをインストールしましょう！Wordfenceを試してみてください 直接在Wordfence的防火墙设置里面，也可以禁止特定爬虫抓取，还可以设置抓取频率，当爬虫频率过高的时候会自动阻止它。 相关文章：スパムクローラーAhrefsBotのブロック方法 AhrefsBotクローラーIPリスト付き