很多建站新手對 robots.txt 檔案的重要作用不是很清楚，利用這篇文章普及一下 WordPress 站點 robots.txt 檔案編寫知識。
Robots 協議 （也稱為爬蟲協議、機器人協議等） 的全稱是 「網路爬蟲排除標準」（Robots Exclusion Protocol），網站透過 Robots 協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取。
搜尋引擎機器人訪問網站時，首先會尋找站點根目錄有沒有 robots.txt 檔案，如果有這個檔案就根據檔案的內容確定收錄範圍，如果沒有就按預設訪問以及收錄所有頁面。另外，當搜尋蜘蛛發現不存在 robots.txt 檔案時，會產生一個 404 錯誤日誌在伺服器上，從而增加伺服器的負擔，因此為站點新增一個 robots.txt 檔案還是很重要的。
知道 Robots 協議的作用後，下面具體說一下 WordPress 站點如何編寫 robots.txt 檔案。
WordPress 站點預設在瀏覽器中輸入：http://你的域名/robots.txt，會顯示如下內容：
|
1
2
3
|
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/ |
這是由 WordPress 自動生成的，意思是告訴搜尋引擎不要抓取後臺程式檔案。
但這是遠遠不夠的，比較完整的 WordPress 站點 robots.txt 檔案內容如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*
Disallow: /attachment/ |
使用方法：新建一個名稱為 robots.txt 文字檔案，將上面的內容放進去，然後上傳到網站根目錄即可。或者直接從下方下載連結裡面下載 rebots.txt，然後直接上傳網站根目錄即可。
下面分別解釋一下各項的作用：
1 、 Disallow: /wp-admin/、 Disallow: /wp-content/和 Disallow: /wp-includes/
用於告訴搜尋引擎不要抓取後臺程式檔案頁面。
2 、 Disallow: /*/comment-page-*和 Disallow: /*?replytocom=*
禁止搜尋引擎抓取評論分頁等相關連結。
3 、 Disallow: /category/*/page/和 Disallow: /tag/*/page/
禁止搜尋引擎抓取收錄分類和標籤的分頁。
4 、 Disallow: /*/trackback
禁止搜尋引擎抓取收錄 trackback 等垃圾資訊
5 、 Disallow: /feed 、 Disallow: /*/feed 和 Disallow: /comments/feed
禁止搜尋引擎抓取收錄 feed 連結，feed 只用於訂閱本站，與搜尋引擎無關。
6 、 Disallow: /?s=*和 Disallow: /*/?s=*
禁止搜尋引擎抓取站內搜尋結果
7 、 Disallow: /attachment/
禁止搜尋引擎抓取附件頁面，比如毫無意義的圖片附件頁面。
上面只是些基本的寫法，當然還有很多，不過夠用了。