教程由来
很多小伙伴都在使用七牛 cdn 来加快网站的访问速度,尤其是七牛的静态文件镜像功能更是非常方便的帮站长把网站本地的静态文件同步到七牛的 cdn 服务器上,不过呢很多小伙伴在使用七牛的 cdn 镜像一段时间之后都发现网站莫名其妙的被百度降权了,才发现原来七牛的镜像功能会把网站的 html 内容也镜像到七牛上,这样一来就相当于七牛上存在一个镜像站点,对于 seo 来说是非常不友好的,所以也就造成大量使用了七牛镜像功能的网站被百度降权。
当时爆出这个问题的时候七牛官方给出了一个处理方法,就是上传 robots.txt 来禁止爬虫抓取镜像站点,不过小 V 觉得这种方法完全是治标不治本的方法
处理方案:
通过 UserAgent 来屏蔽七牛镜像爬虫对网页文件的抓取,代码如下:
- if( strpos($_SERVER[‘HTTP_USER_AGENT’],’qiniu-imgstg-spider’) !== false) {
- echo ‘ 防七牛镜像’;
- exit;
- }
将以上代码加到网站根目录呃 index.php 文件的
加上以上代码,七牛 cdn 的镜像爬虫再来镜像网页文件就会返回 503 状态:
直接访问镜像站点,效果图:
由于只是在 php 上做限制所以不影响其他静态文件的镜像加速~~。
使用了 WP Super Cache 插件的小伙伴请将七牛的 ua 加入到禁止缓存列表中,如下图:
(PS:如果之前已经被七牛镜像了,请先清空七牛的缓存,或者添加代码后更新缓存~~)
问题衍生
综上教程,如果发现,七牛二级域名的首页还是被镜像,可以访问的话,那么大叔这有个另类点的窍门哈,制作一个 403 、 503 等单页面,在七牛还未镜像前把它放到网站的根目录下,然后访问主域名看看自己的站是不是变成了 403 、 503 等报错页面,如果是,那么 OK,下面再开始使用七牛的镜像(这里可能有点迷糊,站都打不开了还怎么用七牛?放心后台还是可以打开操作的,现在可以在 WP 后台设置七牛插件的参数,什么 ACCESS KEY 啊、 SECRET KEY 等),如果已经镜像了的,建议删除七牛空间,重新配置个七牛空间名,然后让七牛将你 403 的首页进行一个镜像,到这里,我想大家也了解是个神马意思了,现在再访问下七牛的二级域名试试看?首页、内页链接是不是全都成了 403 报错了,如是这样,那么可以放心使用七牛的媒体加速服务了!
最后整理了一些错误页面给大家吧,下载点击→ GO