async.mapLimit配合superagent的使用的时候遇到问题 #用于爬虫#
发布于 3个月前 作者 kidbai 256 次浏览 来自 问答

这是我在做一个爬虫时候遇到的问题: 我获取了一组url的数组,并在迭代器中用superagent对当前的url发送请求,我们都知道async.mapLimit中的limit参数是可以控制并发链接数的 ,是不是我控制了iterator的并发数,就相当于控制它其中superagent的请求数。 我是认为iterator每执行一次,superagent就会发送一个请求,等到iterator的callback执行了,才又会并行发起一个链接数,这样就控制了请求的发送数,被我要爬的网站403的概率就会降低。 代码如下: 屏幕快照 2014-11-10 下午9.23.55.png

回到顶部