寫部落格也有一段時間了,為什麼搜尋引擎遲遲不收錄你的頁面呢?想知道每天都有哪些蜘蛛 「拜訪」 你的網站嗎?作為一名 WordPress 使用者,有必要知道每天都有哪些蜘蛛爬行過你的網站,以便於瞭解各搜尋引擎蜘蛛爬行頻率,對網站進行針對性的 SEO 最佳化。
其實很簡單,只要新增以下程式碼,然後再呼叫檔案程式碼就 OK 了,是不是很方便呢?那就開始行動吧。
之前我也找過幾個蜘蛛爬行記錄工具 PHP 版,結果都不盡人意。而且這些 PHP 程式大多要進行安裝,還要將蜘蛛爬行記錄新增到 MYSQL 中,未免太麻煩。那就尋找一個簡易的蜘蛛爬行記錄器吧~
1. 首先,在 WordPress 主題根目錄建立一個robots.php檔案,寫入以下內容:
<?php
function get_naps_bot()
{
$useragent = strtolower($_SERVER[『HTTP_USER_AGENT』]);
if (strpos($useragent, 『googlebot』) !== false){
return 『Googlebot';
}
if (strpos($useragent, 『msnbot』) !== false){
return 『MSNbot';
}
if (strpos($useragent, 『slurp』) !== false){
return 『Yahoobot';
}
if (strpos($useragent, 『baiduspider』) !== false){
return 『Baiduspider';
}
if (strpos($useragent, 『sohu-search』) !== false){
return 『Sohubot';
}
if (strpos($useragent, 『lycos』) !== false){
return 『Lycos';
}
if (strpos($useragent, 『robozilla』) !== false){
return 『Robozilla';
}
return false;
}
function nowtime(){
$date=gmdate(「Y-n-j H:i:s」,time()+8*3600);
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER[『HTTP_USER_AGENT』]);
$url=$_SERVER[『HTTP_REFERER』];
$file=」robotslogs.txt」;
$time=nowtime();
$data=fopen($file,」a」);
fwrite($data,」Time:$time robot:$searchbot URL:$tlc_thispagen」);
fclose($data);
}
?>

將其上傳於你的主題目錄內。
2. 在Footer.php 或 header.php的適當位置新增以下程式碼呼叫robots.php
<?php include(『robots.php』) ?>
程式原理:透過對蜘蛛識別符號 (如 Baiduspider 、 Googlebot) 的判斷,記錄蜘蛛爬行時間,並生成日誌檔案 robotslogs.txt 於根目錄。
程式缺點:無法記錄蜘蛛爬行的頁面,功能較為簡單。