已解决。
怎么解决的?
我的想法: 用数据库存储抓取任务, 从数据库读取下一个抓取任务。
你的办法?
消息队列(Resque: https://github.com/technoweenie/coffee-resque)
我是用 rabbitMQ 的。
rabbitMQ
之前我为自己的一个项目写过一个 module:
module
https://github.com/XadillaX/xplanspider