node.js如何同步抓取页面？
发布于 2年前 作者 airclear 3592 次浏览

事情是这样的：

第一步：我需要从一个网站抓取几个 链接。 第二步：请求那些获取到的链接，获取数据。

第一步大家都会，第二步我要如何控制呢？

比如我第一步获取到了100个链接，我不能直接一个for循环 把所有链接都打开时吧 求教！

7 回复

控制一下并发即可，可以使用async.js中的queue来做，自己实现一个也不难。

做了不止两个这种应用了

可以看看这个 http://cnodejs.org/topic/5183786d6d38277306382d10

看这个看这个 https://github.com/JacksonTian/bagpipe

不需要同步操作。

嗯，就是控制并发。 我要问的就是这个。 我会参考下async的 不过哪位能讲解下自己实现控制呢

https://github.com/driverdan/node-XMLHttpRequest

回到顶部