在网站流量没有明显增长的情况下，发现网站服务器太卡，那么就需要考虑下是不是哪里出问题了。通常如果网站没有做升级和技术修改，问题都出现在外部，例如网站被采集了，或者被搜索引擎疯狂抓取。
奶爸最近没事看下服务器监控信息，发现服务器cpu占用非常高，如下图：
分析了网站日志后发现是bing的机器人抓取太频繁了，所以我们需要来解决一下。
解决办法就是限制bing的抓取频率。
方法一：在管理员后台设置
如果你注册过Bing webmaster工具，那么可以在后台找到Crawl Control菜单，然后在右侧设置下抓取频率即可。
方法二：通过robots.txt文件设置
如果你还不知道robots.txt是什么请先阅读：robots.txt是什么_WordPress正确的robots写法和生成工具
我们可以在robots.txt里面增加crawl-delay 这个参数。
User-agent: * Crawl-delay: 1
上面的代码代表所有搜索引擎限制抓取频率为慢。
如果不设置Crawl-delay就代表由搜索引擎自己决定抓取频率。
这个值可以设置1、5、10，分别对应慢、非常慢、极慢。
如果是其他搜索引擎，例如Google、百度这些，都可以在对应的站长工具里面设置抓取频率，也可以通过robots.txt文件设置，相对来说，robots.txt生效时间会慢一点。
