WordPress robots.txt 檔案對於網站在搜尋引擎中的展示有著至關重要的作用，robots.txt 是一個純文字檔案，透過在這個檔案可以告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取，從而最佳化網站的收錄結果和權重。可以遮蔽一些網站中比較大的檔案，如：圖片，音樂，影片等，節省伺服器頻寬；可以遮蔽站點的一些死連結。方便搜尋引擎抓取網站內容；設定網站地圖連線，方便引導蜘蛛爬取頁面。
robots.txt 檔案是存放在網站根目錄下的，如果你的網站根目錄下還沒有 robots.txt 檔案，你可以手工建立一個，具體的寫法請參考 百度百科。下面是一個常規的通用 WordPress robots 協議：
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /?attachment_id=Sitemap: http://www.yourdomain.com/sitemap.xml
上面的程式碼意思，例如：Disallow: /wp-admin/ 這行定義的是禁止搜尋引擎抓取 /wp-admin/ 目錄下面的目錄。
如果你對於你的 robots.txt 的寫法不放心的話，建議你使用 Google 管理員工具中的 「 工具 -> 測試 robots.txt 」 來對你的更改進行測試，這樣可以確保你的操作正確性。
其實，如果你的網站根目錄不存在真實的 robots.txt， WordPress 會自動建立虛擬 robots.txt 功能 （該檔案不會真實存在，但是訪問 http://yoursite.com/robots.txt 時可以正常顯示） 。