正常情况下，我们做Google SEO当然是希望搜索引擎蜘蛛可以天天在你网站里面爬行抓取内容，但是如果你的服务器有资源限制，那么可能Google蜘蛛太频繁的抓取你网站会导致服务器资源耗尽，或者网站打开缓慢的情况发生。
在这种情况下，我们就可以考虑适当的降低搜索引擎的抓取速度，以保证网站可以正常打开访问，不会被蜘蛛爬挂。
设置Googlebot的抓取速度
Google 采用先进的算法来确定最佳的网站抓取速度，Google搜索蜘蛛每次访问您的网站时，在不导致您的服务器带宽过载的情况下尽可能多地抓取网页。
如果 Google 每秒向网站发出的请求过多，导致服务器的速度下降，您可以限制 Google 抓取您网站的速度。
您可以限制对根级网站（例如 www.example.com 和 http://subdomain.example.com）的抓取速度。您设置的抓取速度是 Googlebot 的抓取速度上限。请注意，Googlebot 并不一定会达到这一上限。
除非您发现服务器出现负载问题并确定该问题是由于 Googlebot 过于频繁地访问您的服务器导致的，否则我们建议您不要限制抓取速度。
您无法更改对非根级网站（例如 www.example.com/folder）的抓取速度。
具体限制方法：
打开资源的“抓取速度设置”页面。
- 如果抓取速度是“计算出的最佳速度”，那么降低抓取速度的唯一方式是提交特殊请求。您无法提高抓取速度。
- 否则，请选择相应选项，然后根据需要限制抓取速度。新抓取速度的有效期为 90 天。
设置所有搜索蜘蛛的抓取速度
除了单独设置外，还可以使用robots.txt文件的Crawl-delay指令来设置搜索引擎抓取频率。
大多数的搜索引擎都支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求：
User-agent: *
Crawl-delay: 10
你只需要把上面的代码添加到你网站的robots.txt文件里面，等待搜索引擎的蜘蛛抓取并识别就可以了。
对于蜘蛛把网站抓挂的情况虽然很少碰见，不过确实有这种情况发生，对于普通的外贸企业网站，本身都没有多少内容的，蜘蛛也没有必要24小时频繁的抓取资源，毕竟网站速度如果被拖慢了，又影响SEO效果，也影响用户体验。
所以当你发现你网站疯狂被蜘蛛抓取的时候，就可以考虑这样操作了。
相关文章：
