WordPress查看搜索引擎蜘蛛活动记录的方法

文章目录

从SEO的角度来说,SEO人员有需要知道搜索引擎蜘蛛是否访问过你网站,抓取了网站内容没有的。奶爸de笔记前两天更换服务器后,按照以前的经验,百度蜘蛛反应是非常慢的,而国内网站搜索引擎流量主要又是依赖百度,所以奶爸就很想知道百度蜘蛛到底有没有知道我更换新服务器了。

那么就来记录一下搜索引擎蜘蛛的活动历史吧。

WordPress记录搜索引擎蜘蛛活动的方法

可以使用代码或者使用插件的方式来查看蜘蛛是否访问过你网站,这种小插件对系统性能没什么影响,所以可以直接考虑用插件。

几款记录蜘蛛活动历史的WordPress插件

SpiderDisplay

这款插件是一款国人作者制作的插件,奶爸目前用的这款,主要是可以直接后台查看记录,比较方便。

SpiderDisplaySpiderDisplay

插件安装地址:https://cn.wordpress.org/plugins/spiderdisplay/

WP Robots Log

没有测试过,不过网上应该有人推荐过,5年前的插件了,同样是国人作品,因为本身就是代码封装成插件而以,功能不会过时,最多蜘蛛数据可能有所变化,可以自己修改代码就行。

插件安装地址:https://cn.wordpress.org/plugins/wp-robots-log/

WP-log-robots

同上一款插件一样,也是老插件了,9年前更新的,代码版就是改的这个插件。

安装地址:https://cn.wordpress.org/plugins/wp-log-robots/

WordPress蜘蛛活动日志代码版

这个代码版的效果就跟上面WP-log-robots的一样,需要通过查看本地txt文件来看记录。实现方法:

在你主题函数文件functions.php里面添加下面的代码,同时在网站根目录新建一个robotslogs.txt文件,并且给与777权限。

//蜘蛛活动记录 https://blog.naibabiji.com/archives/1053
function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'Googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'YisouSpider') !== false){
return 'SM';
}
if (strpos($useragent, 'Baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'YoudaoBot') !== false){ 
return 'YoudaoBot'; 
}
if (strpos($useragent, '360Spider') !== false){
return '360Spider';
}
if (strpos($useragent, 'Sosospider') !== false){
return 'Sosospider';
}
if (strpos($useragent, 'bingbot') !== false){
return 'bingbot';
}
if (strpos($useragent, 'Sogouspider') !== false){
return 'Sogouspider';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotslogs.txt";
$time=nowtime();
$data=fopen($file,"a");
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
fclose($data);
}

阻止特定机器人抓取

如果你觉得有些爬虫机器人抓取频率太高,而且并带不来流量,那么可以屏蔽它,参见方法:https://blog.naibabiji.com/archives/2027

版权申明
如未注明,均为奶爸笔记原创,码字不易,转载请注明出处及原文链接!
本文标题:《WordPress查看搜索引擎蜘蛛活动记录的方法》
本文链接地址:https://blog.naibabiji.com/archives/1053
打赏 赞(0)
微信
支付宝
微信二维码图片

微信扫描二维码打赏

支付宝二维码图片

支付宝扫描二维码打赏

你可能感兴趣

WordPress查看搜索引擎蜘蛛活动记录的方法》有1个想法

发表评论

电子邮件地址不会被公开。 必填项已用*标注