分享用superAgent去爬取soku网上的王者荣耀视频
github 地址:https://github.com/duzitengg/superAgent 1,本程序主要是用superAgent模块进行爬取soku网的王者荣耀视频数据 2,程序主要介绍爬取数据的方法,语法上不够精炼,请包涵! 3,采用mogonDB存储数据 4,采用了定时模块,每两小时爬一次 4,主启动文件 app.js
欢迎交流,如觉好请star,大神请忽略!
3 回复
然而我只会爬取cnode所有帖子title以及第一条评论,并save到我的html文件里面,就没再用nodejs爬取任何东西了。。。
我只看到了不换行的 REAMDE
其实看爬虫主要还是看一些数据,例如速度,数据量之类的。 楼主能不能发一些爬虫的着一些数据,要不然光看函数写法也没多大意思。