在 SEO 最佳化中 robots.txt 檔案非常重要，當搜尋引擎爬蟲訪問一個網站的時候，會先去檢視這個檔案，它可以告訴搜尋引擎，那些頁面不希望被搜尋引擎索引，避免垃圾收錄。

robots.txt 檔案一般直接新增到網站的根目錄即可 （https://www.weixiaoduo.com/robots.txt） 。而很多朋友會發現，根目錄即使沒有 robots.txt 檔案，訪問時也不是 404 找不到報錯，而是出現了一些內容。

預設內容

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

虛擬 robots.txt 檔案

看到的預設內容，就是 WordPress 的虛擬 robots.txt 檔案。利用 PHP 的偽靜態機制，實現虛擬 robots.txt 檔案，當根目錄真有一個 robots.txt 檔案時，虛擬的就會被 「覆蓋」 掉。

如果你要給虛擬 robots.txt 檔案新增內容的話，可以使用下邊的程式碼，新增到主題的 functions.php（瞭解更多） 或者外掛裡即可。

/**

    *WordPress 虛擬 robots.txt 檔案

    *https://www.weixiaoduo.com/invented-robots-txt/

*/

functionBing_add_robots_txt($output){

    $output.="Disallow: /wp-content/n";

    $output.="Disallow: /index.phpn";

    $output.="Disallow: /index.htmln";

    $output.="Disallow: /cgi-bin/n";

    $output.="Disallow: /*/feedn";

    return$output;

}

add_filter('robots_txt','Bing_add_robots_txt');

使用虛擬 robots.txt 的好處

使用虛擬的 robots.txt 的好處就是在訪問 robots.txt 的時候也會載入 WordPress 的程式碼，換句話說，任何外掛和主題都可以對 robots.txt 進行修改，方便使用者。

比如 Google XML Sitemaps 外掛，可以利用虛擬 robots.txt 檔案，自動幫你在 robots.txt 裡引入網站地圖，不用手動修改。

本站使用的就是虛擬的 robots.txt 檔案，我覺得這種方式比較靈活。