请教个管理批量请求的问题
发布于 1年前 作者 xuxianan 625 次浏览

我使用nodegrass写了个根据页面获取图片的爬虫,为什么量大的时候会报错呢?代码大致如下:

code: for (var i = 0; i < urlArray.length; i++) {

// 根据单个页面请求 ng.get(urlArray[i], function(data, status, headers) {

// 根据页面请求结果获取页面对应的图片元素 var imageArray = parse(data)… // htmlparse处理,返回图片url列表 for (var j = 0; j < imageArray.length; j++) {

// 根据图片url列表请求 并且保存至本地 ngi.getFile(imageArray[j], '/tmp/image’, function(err) {

}) } }) }

这样看的话逻辑有没有问题呢?

错误内容: events.js:72 throw er; // Unhandled ‘error’ event ^ Error: socket hang up at createHangUpError (http.js:1472:15) at Socket.socketOnEnd [as onend] (http.js:1568:23) at Socket.g (events.js:180:16) at Socket.EventEmitter.emit (events.js:117:20) at _stream_readable.js:920:16 at process._tickCallback (node.js:415:13)

回到顶部