请教使用http抓去网页时循环发送大量请求的解决方案
发布于 1个月前 作者 izyn 283 次浏览 来自 问答

Nodejs是一门很优雅的语言,平时工作中我也越来越喜欢用它来解决一些问题,在这里想请教各位的是: http模块当大量请求网页数据时,有什么比较好的解决方案,比如我通过循环执行一个请求任务上万次的时候?

4 回复

把任务都加到一个array里。用async的parallelLimit去执行便可以限定同时并发数量。

async.eachLimit, 或者 async.queue

参考论坛51job抓取源码 发自 CNodeJs ionic

回到顶部