写博客也有一段时间了，为什么搜索引擎迟迟不收录你的页面呢？想知道每天都有哪些蜘蛛 「拜访」 你的网站吗？作为一名 WordPress 用户，有必要知道每天都有哪些蜘蛛爬行过你的网站，以便于了解各搜索引擎蜘蛛爬行频率，对网站进行针对性的 SEO 优化。
其实很简单，只要添加以下代码，然后再调用文件代码就 OK 了，是不是很方便呢？那就开始行动吧。
之前我也找过几个蜘蛛爬行记录工具 PHP 版，结果都不尽人意。而且这些 PHP 程序大多要进行安装，还要将蜘蛛爬行记录添加到 MYSQL 中，未免太麻烦。那就寻找一个简易的蜘蛛爬行记录器吧~
1. 首先，在 WordPress 主题根目录建立一个robots.php文件，写入以下内容：
<?php
function get_naps_bot()
{
$useragent = strtolower($_SERVER[『HTTP_USER_AGENT』]);
if (strpos($useragent, 『googlebot』) !== false){
return 『Googlebot';
}
if (strpos($useragent, 『msnbot』) !== false){
return 『MSNbot';
}
if (strpos($useragent, 『slurp』) !== false){
return 『Yahoobot';
}
if (strpos($useragent, 『baiduspider』) !== false){
return 『Baiduspider';
}
if (strpos($useragent, 『sohu-search』) !== false){
return 『Sohubot';
}
if (strpos($useragent, 『lycos』) !== false){
return 『Lycos';
}
if (strpos($useragent, 『robozilla』) !== false){
return 『Robozilla';
}
return false;
}
function nowtime(){
$date=gmdate(「Y-n-j H:i:s」,time()+8*3600);
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER[『HTTP_USER_AGENT』]);
$url=$_SERVER[『HTTP_REFERER』];
$file=」robotslogs.txt」;
$time=nowtime();
$data=fopen($file,」a」);
fwrite($data,」Time:$time robot:$searchbot URL:$tlc_thispagen」);
fclose($data);
}
?>
将其上传于你的主题目录内。
2. 在Footer.php 或 header.php的适当位置添加以下代码调用robots.php。
<?php include(『robots.php』) ?>
程序原理：通过对蜘蛛标识符 （如 Baiduspider 、 Googlebot） 的判断，记录蜘蛛爬行时间，并生成日志文件 robotslogs.txt 于根目录。
程序缺点：无法记录蜘蛛爬行的页面，功能较为简单。