限制Bing等搜索引擎抓取频率降低服务器负载

在网站流量没有明显增长的情况下,发现网站服务器太卡,那么就需要考虑下是不是哪里出问题了。通常如果网站没有做升级和技术修改,问题都出现在外部,例如网站被采集了,或者被搜索引擎疯狂抓取。

奶爸最近没事看下服务器监控信息,发现服务器cpu占用非常高,如下图:

CPU服务器负载

分析了网站日志后发现是bing的机器人抓取太频繁了,所以我们需要来解决一下。

解决办法就是限制bing的抓取频率

方法一:在管理员后台设置

bing webmaster

如果你注册过Bing webmaster工具,那么可以在后台找到Crawl Control菜单,然后在右侧设置下抓取频率即可。

方法二:通过robots.txt文件设置

如果你还不知道robots.txt是什么请先阅读:robots.txt是什么_WordPress正确的robots写法和生成工具

我们可以在robots.txt里面增加crawl-delay 这个参数。

User-agent: *
Crawl-delay: 1

上面的代码代表所有搜索引擎限制抓取频率为慢。

如果不设置Crawl-delay就代表由搜索引擎自己决定抓取频率。

这个值可以设置1、5、10,分别对应慢、非常慢、极慢。

如果是其他搜索引擎,例如Google、百度这些,都可以在对应的站长工具里面设置抓取频率,也可以通过robots.txt文件设置,相对来说,robots.txt生效时间会慢一点。

3.7/5 - (3 votes)
奶爸建站笔记 Scroll to Top