在 SEO 優化中 robots.txt 文件非常重要，當搜索引擎爬蟲訪問一個網站的時候，會先去查看這個文件，它可以告訴搜索引擎，那些頁面不希望被搜索引擎索引，避免垃圾收錄。

robots.txt 文件一般直接添加到網站的根目錄即可 （https://www.weixiaoduo.com/robots.txt） 。而很多朋友會發現，根目錄即使沒有 robots.txt 文件，訪問時也不是 404 找不到報錯，而是出現了一些內容。

默認內容

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

虛擬 robots.txt 文件

看到的默認內容，就是 WordPress 的虛擬 robots.txt 文件。利用 PHP 的偽靜態機制，實現虛擬 robots.txt 文件，當根目錄真有一個 robots.txt 文件時，虛擬的就會被 「覆蓋」 掉。

如果你要給虛擬 robots.txt 文件添加內容的話，可以使用下邊的代碼，添加到主題的 functions.php（瞭解更多） 或者插件裏即可。

/**

    *WordPress 虛擬 robots.txt 文件

    *https://www.weixiaoduo.com/invented-robots-txt/

*/

functionBing_add_robots_txt($output){

    $output.="Disallow: /wp-content/n";

    $output.="Disallow: /index.phpn";

    $output.="Disallow: /index.htmln";

    $output.="Disallow: /cgi-bin/n";

    $output.="Disallow: /*/feedn";

    return$output;

}

add_filter('robots_txt','Bing_add_robots_txt');

使用虛擬 robots.txt 的好處

使用虛擬的 robots.txt 的好處就是在訪問 robots.txt 的時候也會載入 WordPress 的代碼，換句話説，任何插件和主題都可以對 robots.txt 進行修改，方便用户。

比如 Google XML Sitemaps 插件，可以利用虛擬 robots.txt 文件，自動幫你在 robots.txt 裏引入網站地圖，不用手動修改。

本站使用的就是虛擬的 robots.txt 文件，我覺得這種方式比較靈活。