Discuz! 的 archiver 缺点:页面中的 keyword,description 都是相同的,造成很多页面重复度高的情况。
而且 archiver 帖子正文部分无法解析 UBB 代码,因此加重颜色、加粗、加链接等都失去了作用。
不建议开启,非要开启的话可以参考以下 2 点:
1. 给权威链接加上 Canonical 标签,规范下最有价值 URL 。
- <link href="https://www.weixiaoduo.com/discuz/" rel="canonical" />
对一组内容完全相同或高度相似的网页,通过使用 Canonical 标签可以告诉搜索引擎哪个页面为规范的网页,能够规范网址并避免搜索结果中出现多个内容相同或相似的页面,帮助解决重复内容的收录问题。
2. 使用 robots.txt 屏蔽搜索引擎收录 archiver,这样 spider 遍历速度会快些。
- User-agent: *
- Disallow: /archiver/
spider 在访问一个网站时,首先会检查该网站的根域下是否有一个叫做 robots.txt
的纯文本文件,这个文件用于指定 spider 在您网站上的抓取范围。您可以在您的网站中创建一个 robots.txt,在文件中声明
该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
总之,不一样的地址相同的内容会被搜索引擎认为重复内容。开启的话建议给权威链接加上 Canonical 标签,或者把 archiver 用 robots.txt 屏蔽,防止重复性内容被收录。