更改搜索引擎蜘蛛的抓取速度,避免占用太多服务器资源

正常情况下,我们做Google SEO当然是希望搜索引擎蜘蛛可以天天在你网站里面爬行抓取内容,但是如果你的服务器有资源限制,那么可能Google蜘蛛太频繁的抓取你网站会导致服务器资源耗尽,或者网站打开缓慢的情况发生。

在这种情况下,我们就可以考虑适当的降低搜索引擎的抓取速度,以保证网站可以正常打开访问,不会被蜘蛛爬挂。

设置Googlebot的抓取速度

 

Google 采用先进的算法来确定最佳的网站抓取速度,Google搜索蜘蛛每次访问您的网站时,在不导致您的服务器带宽过载的情况下尽可能多地抓取网页。

如果 Google 每秒向网站发出的请求过多,导致服务器的速度下降,您可以限制 Google 抓取您网站的速度。

您可以限制对根级网站(例如 www.example.com 和 http://subdomain.example.com)的抓取速度。您设置的抓取速度是 Googlebot 的抓取速度上限。请注意,Googlebot 并不一定会达到这一上限。

除非您发现服务器出现负载问题并确定该问题是由于 Googlebot 过于频繁地访问您的服务器导致的,否则我们建议您不要限制抓取速度。

您无法更改对非根级网站(例如 www.example.com/folder)的抓取速度。

设置Google机器人抓取速度

具体限制方法:

打开资源的“抓取速度设置”页面

  • 如果抓取速度是“计算出的最佳速度”,那么降低抓取速度的唯一方式是提交特殊请求。您无法提高抓取速度。
  • 否则,请选择相应选项,然后根据需要限制抓取速度。新抓取速度的有效期为 90 天。

设置所有搜索蜘蛛的抓取速度

除了单独设置外,还可以使用robots.txt文件的Crawl-delay指令来设置搜索引擎抓取频率。

大多数的搜索引擎都支持Crawl-delay参数,设置为多少秒,以等待同服务器之间连续请求:

User-agent: *
Crawl-delay: 10

你只需要把上面的代码添加到你网站的robots.txt文件里面,等待搜索引擎的蜘蛛抓取并识别就可以了。

对于蜘蛛把网站抓挂的情况虽然很少碰见,不过确实有这种情况发生,对于普通的外贸企业网站,本身都没有多少内容的,蜘蛛也没有必要24小时频繁的抓取资源,毕竟网站速度如果被拖慢了,又影响SEO效果,也影响用户体验。

所以当你发现你网站疯狂被蜘蛛抓取的时候,就可以考虑这样操作了。

相关文章:

Scroll to Top