今日發現，有好多同學開始玩 WordPress 了，很高興有些志同道合的朋友加入 WP 的大家庭。可是，不管你的水平如何，只要你是站長，就有必要懂的 Robots.txt 的寫法與作用。近日，小站的?p=XX 頁面老是出現在百度收錄中，雖然有增加收錄的作用，但是會對網站權重造成影響。所以我採取了一系列的措施來避免過多的重複頁面抓取。
其實，我從一開始就做了 Robot 的優化工作，只不過搬空間時候忘了那個 Robots 文件了……一失足成千古恨，博客收錄降了好多……WordPress 的優化還是做得很好的，雖然有些地方需要藉助自己對 Html 等小知識的掌握，但這並不妨礙你把 WordPress 站點打造成優化典範！
下面我分享一下自己博客的 Robots 文件，並簡單的説一下作用。
User-agent: *
Disallow: /comments/feed/
Disallow: /*/trackback
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /*?replytocom=
Disallow: /*/comment-page-*
Disallow: /?r=*
Disallow: /?p=*
Disallow: /page/
Allow: /wp-content/uploads/
Sitemap: http://***.me/sitemap.xml
Sitemap: http://***.me/sitemap_baidu.xml
上面的 User-agent:*意思就是對所有的蜘蛛進行規則，Disallow 想必大家英文稍微會一點的都懂。比如 Disallow: /page/意思就是不要抓取/page 下面的網頁，以免造成降權。
晚上見有童鞋將 Disallow: /*?replytocom=和 Disallow: /*/comment-page-*類似的寫成 Disallow: *?replytocom=以及 Disallow:*/comment-page-*特意説明一下，在百度官方的説明中，Disallow 的地址必須以/這個斜槓開頭，不加這個雖然可以但是不符合標準。
筆者認為：半懂不懂我們學習不應該有，可有可無這個還是有着比較好！標準在那裏，咱們就看標準來吧！希望大家可以多多交流，共同學習！有錯誤請及時更正指出，謝謝！
在最後祝願玩 WordPress 的同學技術步步高，WordPress 建站值得你堅持下去，希望看到越來越多的網友有自己的建站一週年紀念文章出現！