node爬虫如何保持登录并且监听网站推送消息呢?
发布于 2 年前 作者 Purplekylin 1470 次浏览 来自 问答

正常的爬取网页内容只要request拿到body解析就可以了,那么如何登录一个网页并且监听网站给用户推送的消息呢?

2 回复
  • 定时爬取内容
  • 使用爬虫神器puppeteer, 服务端搭建一个Websocket,使用puppeteer打开页面,登录之后执行一个script,连接Websocket,那变化的内容推送给服务端

如果目标是使用API的网站,只是使用了像JWT这样的认证方式,那么爬取的过程就会很愉快。 只需要搞定认证那一块,剩下的就是API调用了

@axetroy 好 我去了解下puppeteer 3Q~

回到顶部