关于 nodejs 抓取网页时 301 错误
发布于 2年前 作者 lolocoo 1085 次浏览

website: mafengwo

nodejs 抓取网页时 301 错误， 用 request (It supports HTTPS and follows redirects by default.) 包也还是不可以，其他的网站都可以，唯独目标网站不行。

用其他语言抓取就可行， 求解！

5 回复

这个是重定向，你可以直接抓取目标网页，或者根据响应头去做正理 request里面有个参数followRedirects:false

已经用了request该插件，自动会follows redirects的

@lolocoo 让是让你 followRedirects设置为false，自己根据响应头去获取

http包就有这个问题

用request包就行了，自动转向。 http://blog.fens.me/nodejs-crawler-douban/

如果request的时候响应了cookie重定向之后是不会把cookie加到头中的

回到顶部