douban的www域名request抓不到吗?
发布于 9个月前 作者 firhome 656 次浏览

看了很多例子都是拿douban做爬虫的例子…

然后我也试试.

发现 request(‘http://movie.douban.com/’) 有用

request(‘http://www.douban.com/’) 没用

是什么原因呢?

6 回复

我也测试了一下 好像真的没用

douban主站禁了空的user-agent

####亲测:

body: '<html>\r\n<head><title>403 Forbidden</title></head>\r\n<body bgcolor="white">\r\n<center><h1>403 Forbidden</h1></center>\r\n<hr><center>nginx</center>\r\n</body>\r\n</html>\r\n'

你们这些淫啊,把user agent 设置为 GFW ,douban 速度就尿了。。。

回到顶部