指量抓取，大家有没有好的解决方案?

指量抓取，大家有没有好的解决方案?, 抓取的页面在10W左右。我现在用request这个模块，总感觉不稳定。进程会动不动就不运行了(没有退出，卡住了)，现在不知道卡在了哪儿。我设置timeout的话，一下子全超时了。

我在使用Needle，你可以试用一下 https://github.com/tomas/needle