自己的写的网页版nodejs爬虫

看了很多人用nodejs写爬虫，自己也写了一个，代码写的不是很好，请大家多多指教。源代码：https://github.com/satrong/node-webcrawler

看了下，不明白你为什么把request这些放dev依赖里面=。=

@luicfer 一开始是参考别人写的，后来全部重构了，package.json中的dev依赖就照搬了一直没改

体验了一下，感觉不错哦。没看代码。

@satrong 最好改过来，在NODE_ENV为生产环境的时候，NPM不会下载DEV依赖

@luicfer 嗯，谢谢指导，已经改过来了