从SEO的角度来说,SEO人员有需要知道搜索引擎蜘蛛是否访问过你网站,抓取了网站内容没有的。奶爸建站笔记前两天更换服务器后,按照以前的经验,百度蜘蛛反应是非常慢的,而国内网站搜索引擎流量主要又是依赖百度,所以奶爸就很想知道百度蜘蛛到底有没有知道我更换新服务器了。
那么就来记录一下搜索引擎蜘蛛的活动历史吧。
WordPress记录搜索引擎蜘蛛活动的方法
可以使用代码或者使用插件的方式来查看蜘蛛是否访问过你网站,这种小插件对系统性能没什么影响,所以可以直接考虑用插件。
几款记录蜘蛛活动历史的WordPress插件
SpiderDisplay
这款插件是一款国人作者制作的插件,奶爸目前用的这款,主要是可以直接后台查看记录,比较方便。
插件安装地址:https://cn.wordpress.org/plugins/spiderdisplay/
WP Robots Log
没有测试过,不过网上应该有人推荐过,5年前的插件了,同样是国人作品,因为本身就是代码封装成插件而以,功能不会过时,最多蜘蛛数据可能有所变化,可以自己修改代码就行。
插件安装地址:https://cn.wordpress.org/plugins/wp-robots-log/
WP-log-robots
同上一款插件一样,也是老插件了,9年前更新的,代码版就是改的这个插件。
安装地址:https://cn.wordpress.org/plugins/wp-log-robots/
WordPress蜘蛛活动日志代码版
这个代码版的效果就跟上面WP-log-robots的一样,需要通过查看本地txt文件来看记录。实现方法:
在你主题函数文件functions.php里面添加下面的代码,同时在网站根目录新建一个robotslogs.txt文件,并且给与777权限。
//蜘蛛活动记录 https://blog.naibabiji.com/tutorial/wordpress-ji-lu-zhi-zhu-huo-dong.html function get_naps_bot(){ $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'Googlebot') !== false){ return 'Googlebot'; } if (strpos($useragent, 'msnbot') !== false){ return 'MSNbot'; } if (strpos($useragent, 'YisouSpider') !== false){ return 'SM'; } if (strpos($useragent, 'Baiduspider') !== false){ return 'Baiduspider'; } if (strpos($useragent, 'sohu-search') !== false){ return 'Sohubot'; } if (strpos($useragent, 'YoudaoBot') !== false){ return 'YoudaoBot'; } if (strpos($useragent, '360Spider') !== false){ return '360Spider'; } if (strpos($useragent, 'Sosospider') !== false){ return 'Sosospider'; } if (strpos($useragent, 'bingbot') !== false){ return 'bingbot'; } if (strpos($useragent, 'Sogouspider') !== false){ return 'Sogouspider'; } return false; } function nowtime(){ date_default_timezone_set('Asia/Shanghai'); $date=date("Y-m-d.G:i:s"); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_REFERER']; $file="robotslogs.txt"; $time=nowtime(); $data=fopen($file,"a"); $PR="$_SERVER[REQUEST_URI]"; fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n"); fclose($data); }
阻止特定机器人抓取
如果你觉得有些爬虫机器人抓取频率太高,而且并带不来流量,那么可以屏蔽它,参见方法:https://blog.naibabiji.com/skill/wordpress-zu-zhi-pa-chong.html