反馈完之后，我反复去看了下这个抓取失败结果：
结果发现都是连接超时错误，DNS 解析是没问题的，确实是真实 IP，看来不是使用 CDN 的问题：
继续看了几遍之后，我偶然点开了抓取异常这个工具，一看吓一跳，每天的连接超时居然将近一半！
突然灵光一闪，连接超时，好熟悉的字眼，不是 40X，也不是 50X。。。没错，就是防火墙拦截！
赶紧登陆阿里云 ECS 看了下 iptables：
看到了有 2 个网段被禁用，先尝试解封，然后回到百度更新了下 sitemap 试了下，居然成功了？！
我次奥！真是这个网段被禁封造成的！成功后，我特意再次更新 sitemap。并看了下 nginx 日志，发现还真是 220.181.108 这个 IP 段的 IP，尼玛，巧就巧在百度抓取诊断工具不在这个网段，可以正常抓取，迷惑了我几个月！！！
事后，我努力的回忆了一把当时为什么禁用了这 2 个网段。。。
记得，当时是 Begin 交流群里有个人采集我的整个博客。我当时用了各种办法禁止他采集内容中的盗图，最终他用了搜狗的图片接口来采集我博客的图片。我就不好怎么禁止了，因为搜索引擎来的 IP，CDN 是自动回源的！
于是，我图省事直接把搜狗的图片接口 IP 的整个网段都给禁封了！尼玛，当时也没想过百度和搜狗的蜘蛛节点可能在同一个机房了？？另外恶狠狠的诅咒下，采集个人博客者木有小 JJ！！
几个月的时间，对 SEO 带了非常严重的影响！要不是运气好，突然想到了这么一桩，这博客的百度 SEO 就基本废了！
废了也没什么，关键不明不白，谁也不爽吧！此次解除禁封之后，相信不出一个月，应该就会有效果了，至少最新发布的文章是会被收录的，不看别的，就见证下本文一个星期会不会被收录吧！不过之前未收录却被转载走的文章算是废了，发出去虽然推送到了百度，但是百度却没抓取到内容，被人转了之后估计被识别成首次发布的原创了吧！
好了，本文算是一个吐槽贴，也是给一些网站降权、收录异常的朋友一个参考，某些时候，收录异常、网站被 K 站不一定是你 SEO 方面的问题，一定记得看看是不是服务器把蜘蛛挡在门外了哟！
后续跟进篇
添加新评论