WordPress robots.txt 文件對於網站在搜索引擎中的展示有着至關重要的作用，robots.txt 是一個純文本文件，通過在這個文件可以告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取，從而優化網站的收錄結果和權重。可以屏蔽一些網站中比較大的文件，如：圖片，音樂，視頻等，節省服務器帶寬；可以屏蔽站點的一些死鏈接。方便搜索引擎抓取網站內容；設置網站地圖連接，方便引導蜘蛛爬取頁面。
robots.txt 文件是存放在網站根目錄下的，如果你的網站根目錄下還沒有 robots.txt 文件，你可以手工創建一個，具體的寫法請參考 百度百科。下面是一個常規的通用 WordPress robots 協議：
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /?attachment_id=Sitemap: http://www.yourdomain.com/sitemap.xml
上面的代碼意思，例如：Disallow: /wp-admin/ 這行定義的是禁止搜索引擎抓取 /wp-admin/ 目錄下面的目錄。
如果你對於你的 robots.txt 的寫法不放心的話，建議你使用 Google 管理員工具中的 「 工具 -> 測試 robots.txt 」 來對你的更改進行測試，這樣可以確保你的操作正確性。
其實，如果你的網站根目錄不存在真實的 robots.txt， WordPress 會自動創建虛擬 robots.txt 功能 （該文件不會真實存在，但是訪問 http://yoursite.com/robots.txt 時可以正常顯示） 。