今日发现，有好多同学开始玩 WordPress 了，很高兴有些志同道合的朋友加入 WP 的大家庭。可是，不管你的水平如何，只要你是站长，就有必要懂的 Robots.txt 的写法与作用。近日，小站的?p=XX 页面老是出现在百度收录中，虽然有增加收录的作用，但是会对网站权重造成影响。所以我采取了一系列的措施来避免过多的重复页面抓取。
其实，我从一开始就做了 Robot 的优化工作，只不过搬空间时候忘了那个 Robots 文件了……一失足成千古恨，博客收录降了好多……WordPress 的优化还是做得很好的，虽然有些地方需要借助自己对 Html 等小知识的掌握，但这并不妨碍你把 WordPress 站点打造成优化典范！
下面我分享一下自己博客的 Robots 文件，并简单的说一下作用。
User-agent: *
Disallow: /comments/feed/
Disallow: /*/trackback
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /*?replytocom=
Disallow: /*/comment-page-*
Disallow: /?r=*
Disallow: /?p=*
Disallow: /page/
Allow: /wp-content/uploads/
Sitemap: http://***.me/sitemap.xml
Sitemap: http://***.me/sitemap_baidu.xml
上面的 User-agent:*意思就是对所有的蜘蛛进行规则，Disallow 想必大家英文稍微会一点的都懂。比如 Disallow: /page/意思就是不要抓取/page 下面的网页，以免造成降权。
晚上见有童鞋将 Disallow: /*?replytocom=和 Disallow: /*/comment-page-*类似的写成 Disallow: *?replytocom=以及 Disallow:*/comment-page-*特意说明一下，在百度官方的说明中，Disallow 的地址必须以/这个斜杠开头，不加这个虽然可以但是不符合标准。
笔者认为：半懂不懂我们学习不应该有，可有可无这个还是有着比较好！标准在那里，咱们就看标准来吧！希望大家可以多多交流，共同学习！有错误请及时更正指出，谢谢！
在最后祝愿玩 WordPress 的同学技术步步高，WordPress 建站值得你坚持下去，希望看到越来越多的网友有自己的建站一周年纪念文章出现！