爬取cnblogs后访问被屏蔽
现象: ****昨晚测试一小段爬虫,爬取cnblogs的前三页的博客地址(非恶意爬取),这个多次测试都没有问题,后来接着爬取已爬取到的博主的文章列表,因代码有问题,我就多刷新了几次(估计10次左右),然后就从昨天晚上11点左右到今早8点多一直都无法访问cnblogs了,但是ping包正常。今早8点半之后访问又正常了。 问题: ****我的访问是被cnblogs服务器屏蔽了,还是被本地的电信网关屏蔽了?如果我还要继续此测试,需要注意些什么问题? 谢谢!
2 回复
还有其他现象:cnblogs访问被屏蔽后,访问其他论坛昨晚也被屏蔽了,如csdn(之前根本都没访问)之类的,实在太怪异了
前两天爬了cnblogs,没有遇到这种情况