对于一个站长,尤其是像我这样的菜鸟站长,十分在意搜索引擎的收录情况,但有时候好几天也没有动静,这时候就纳闷了,是不是蜘蛛没有来爬取我的网站?但无奈菜鸟一只,不懂得如何查看,今天上网查了一会,终于找到了 3 个解决方案 (最后一种不推荐,对 WordPress 修改变得很大),都是简单易懂,操作方便,最适合新手使用。

方案一:使用代码

<?php
functionget_naps_bot()
{
$useragent =strtolower($_SERVER['HTTP_USER_AGENT']);
if(strpos($useragent,'googlebot')!==false){
return'Googlebot';
}
if(strpos($useragent,'msnbot')!==false){
return'MSNbot';
}
if(strpos($useragent,'slurp')!==false){
return'Yahoobot';
}
if(strpos($useragent,'baiduspider')!==false){
return'Baiduspider';
}
if(strpos($useragent,'sohu-search')!==false){
return'Sohubot';
}
if(strpos($useragent,'lycos')!==false){
return'Lycos';
}
if(strpos($useragent,'robozilla')!==false){
return'Robozilla';
}
returnfalse;
}
functionnowtime(){
$date=gmdate("Y-n-j H:i:s",time()+8*3600);
return$date;
}
$searchbot =get_naps_bot();
if($searchbot){
$tlc_thispage =addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="spiderlogs.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispagen");
fclose($data);
}
?>

将上面贴出来的代码另存为 spider.php,你可以任意给它取个名字,只要保证扩展名是 php,让它能够正常执行即可;然后上传到 「/wp-content /themes/使用的主题」 目录中;最后在你的模板文件中调用它,例如在 WordPress 网站中,你可以在 footer.php 文件中添加"<!--?php include('spider.php') ?--><!--蜘蛛记录-->"。

接下来就是等待搜索引擎蜘蛛到你的网站来爬行了,爬行的结果记录在网站根目录的 spiderlogs.txt 中,你直接打开 http://ihuan.me/spiderlogs.txt(其中域名换成自己的) 就能看到了。当然你也可以修改 spider.php 文件的第 50 行,把 spiderlogs.txt 换成任意你想要的名字。

方案二:使用 wp-log-robots 插件

很简单,在后台搜索该插件,安装并启用,等一会儿,然后直接在浏览器地址栏:http://ihuan.me/robots_log.txt ,这样当有蜘蛛访问后你就会看到蜘蛛抓取的记录了。这个插件,非常小,插件主文件只有一个 wp-log-robots.php ,大小仅 3KB 。关键它的统计数据不用添加到数据库中,而是以文本文件记录下来的。当然了,如果空间内存不足的话可以删除文件,让他从新生成

方案三:使用 SEO 蜘蛛来访统计插件

这个插件在后台搜不到,功能和 wp-log-robots 差不多,好处就是看起来舒服一点。截图如下 (当然了,我也是新安装的,蜘蛛不多。但是百度还真靠谱,刚安上就检测到百度的蜘蛛):

当然了,我的是新安装的还有统计图表没有出来

百度网盘飞机票:http://pan.baidu.com/s/1ntwowmH