node.js 爬虫工具 - 结贴:推荐使用Puppeteer
发布于 13 天前 作者 iori2882 2041 次浏览 最后一次编辑是 2 天前 来自 问答

最近有爬虫网页的需求,node有什么好用的框架或工具么?麻烦大家推荐一下…如果有教程那最好了,以前没接触过爬虫这部分…麻烦大家了…

10 回复

https://github.com/sunfeng90/node-spider @iori2882 可以看一下

https://github.com/LuckyHH/WebSpider 其实很多都是superagent加cheerio搭配，这种只能抓HTML上有的数据，原理就是下载网页进行分析。抓取ajax数据什么的，需要无头浏览器。

@sunfeng90 谢谢例子简单正用的上…学习一下

@LuckyHH 谢谢,功能齐全,目前先学习简单的,以后在学习这个…

request + cheerio，还不行就上puppeteer。。。

用 node + selenium + webdriverio 也可以实现，5.0以上支持无头浏览器

puppeteer 完美

puppeteer

puppeteer

谢谢大家,Puppeteer 很好,正适合我目前的需求!!!

回到顶部