从SEO的角度来说，SEO人员有需要知道搜索引擎蜘蛛是否访问过你网站，抓取了网站内容没有的。奶爸建站笔记前两天更换服务器后，按照以前的经验，百度蜘蛛反应是非常慢的，而国内网站搜索引擎流量主要又是依赖百度，所以奶爸就很想知道百度蜘蛛到底有没有知道我更换新服务器了。
那么就来记录一下搜索引擎蜘蛛的活动历史吧。
WordPress记录搜索引擎蜘蛛活动的方法
可以使用代码或者使用插件的方式来查看蜘蛛是否访问过你网站，这种小插件对系统性能没什么影响，所以可以直接考虑用插件。
几款记录蜘蛛活动历史的WordPress插件
SpiderDisplay
这款插件是一款国人作者制作的插件，奶爸目前用的这款，主要是可以直接后台查看记录，比较方便。
插件安装地址：https://cn.wordpress.org/plugins/spiderdisplay/
WP Robots Log
没有测试过，不过网上应该有人推荐过，5年前的插件了，同样是国人作品，因为本身就是代码封装成插件而以，功能不会过时，最多蜘蛛数据可能有所变化，可以自己修改代码就行。
插件安装地址：https://cn.wordpress.org/plugins/wp-robots-log/
WP-log-robots
同上一款插件一样，也是老插件了，9年前更新的，代码版就是改的这个插件。
安装地址：https://cn.wordpress.org/plugins/wp-log-robots/
WordPress蜘蛛活动日志代码版
这个代码版的效果就跟上面WP-log-robots的一样，需要通过查看本地txt文件来看记录。实现方法：
在你主题函数文件functions.php里面添加下面的代码，同时在网站根目录新建一个robotslogs.txt文件，并且给与777权限。
//蜘蛛活动记录 http://blog.naibabiji.com/tutorial/wordpress-ji-lu-zhi-zhu-huo-dong.html
function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'Googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'YisouSpider') !== false){
return 'SM';
}
if (strpos($useragent, 'Baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'YoudaoBot') !== false){
return 'YoudaoBot';
}
if (strpos($useragent, '360Spider') !== false){
return '360Spider';
}
if (strpos($useragent, 'Sosospider') !== false){
return 'Sosospider';
}
if (strpos($useragent, 'bingbot') !== false){
return 'bingbot';
}
if (strpos($useragent, 'Sogouspider') !== false){
return 'Sogouspider';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotslogs.txt";
$time=nowtime();
$data=fopen($file,"a");
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
fclose($data);
}阻止特定机器人抓取
如果你觉得有些爬虫机器人抓取频率太高，而且并带不来流量，那么可以屏蔽它，参见方法：http://blog.naibabiji.com/skill/wordpress-zu-zhi-pa-chong.html
