
對於一個站長,尤其是像我這樣的菜鳥站長,十分在意搜尋引擎的收錄情況,但有時候好幾天也沒有動靜,這時候就納悶了,是不是蜘蛛沒有來爬取我的網站?但無奈菜鳥一隻,不懂得如何檢視,今天上網查了一會,終於找到了 3 個解決方案 (最後一種不推薦,對 WordPress 修改變得很大),都是簡單易懂,操作方便,最適合新手使用。
方案一:使用程式碼
<?php
functionget_naps_bot()
{
$useragent =strtolower($_SERVER['HTTP_USER_AGENT']);
if(strpos($useragent,'googlebot')!==false){
return'Googlebot';
}
if(strpos($useragent,'msnbot')!==false){
return'MSNbot';
}
if(strpos($useragent,'slurp')!==false){
return'Yahoobot';
}
if(strpos($useragent,'baiduspider')!==false){
return'Baiduspider';
}
if(strpos($useragent,'sohu-search')!==false){
return'Sohubot';
}
if(strpos($useragent,'lycos')!==false){
return'Lycos';
}
if(strpos($useragent,'robozilla')!==false){
return'Robozilla';
}
returnfalse;
}
functionnowtime(){
$date=gmdate("Y-n-j H:i:s",time()+8*3600);
return$date;
}
$searchbot =get_naps_bot();
if($searchbot){
$tlc_thispage =addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="spiderlogs.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispagen");
fclose($data);
}
?>
將上面貼出來的程式碼另存為 spider.php,你可以任意給它取個名字,只要保證副檔名是 php,讓它能夠正常執行即可;然後上傳到 「/wp-content /themes/使用的主題」 目錄中;最後在你的模板檔案中呼叫它,例如在 WordPress 網站中,你可以在 footer.php 檔案中新增"<!--?php include('spider.php') ?--><!--蜘蛛記錄-->"。
接下來就是等待搜尋引擎蜘蛛到你的網站來爬行了,爬行的結果記錄在網站根目錄的 spiderlogs.txt 中,你直接開啟 http://ihuan.me/spiderlogs.txt(其中域名換成自己的) 就能看到了。當然你也可以修改 spider.php 檔案的第 50 行,把 spiderlogs.txt 換成任意你想要的名字。
方案二:使用 wp-log-robots 外掛
很簡單,在後臺搜尋該外掛,安裝並啟用,等一會兒,然後直接在瀏覽器位址列:http://ihuan.me/robots_log.txt ,這樣當有蜘蛛訪問後你就會看到蜘蛛抓取的記錄了。這個外掛,非常小,外掛主檔案只有一個 wp-log-robots.php ,大小僅 3KB 。關鍵它的統計資料不用新增到資料庫中,而是以文字檔案記錄下來的。當然了,如果空間記憶體不足的話可以刪除檔案,讓他從新生成
方案三:使用 SEO 蜘蛛來訪統計外掛
這個外掛在後臺搜不到,功能和 wp-log-robots 差不多,好處就是看起來舒服一點。截圖如下 (當然了,我也是新安裝的,蜘蛛不多。但是百度還真靠譜,剛安上就檢測到百度的蜘蛛):

當然了,我的是新安裝的還有統計圖表沒有出來
百度網盤飛機票:http://pan.baidu.com/s/1ntwowmH