各位大佬, 有一个困惑许久的问题:
我用nodejs做了一个爬虫,每天定时爬取数据,node版本v9.8.0,定时试过系统命令crontab,现在用node-schedule,使用pm2管理程序。
爬虫在运行一段时间后,有时候是三四天,有时候是一周或者更长后,卡住了。没有错误日志,pm2也没有任何日志信息,程序也没有退出,似乎是卡死在后台了。
程序使用的依赖如下: “axer”: “0.0.5”, “log4js”: “^1.1.1”, “moment”: “^2.18.1”, “mongodb”: “^3.0.5”, “node-schedule”: “^1.2.4”, “bluebird”: “^3.5.1”, “util”: “^0.10.3”, “xml2js”: “^0.4.17”
各位大佬,有没有遇到过类似问题的?能否给出一些提示思路?非常感谢!
mongodb的链接没断开吧
来自酷炫的 CNodeMD
@zy445566 每次操作完了会断开mongodb的
监控一下内存,硬盘,CPU使用情况。没有报错的卡住有可能是连接某个服务连接不上,就比如说mongodb
1——来自react-cnode
@yuedun 卡住的时候观察过,资源使用上没有什么异常的。
不过mongodb连接不上倒是有可能。我觉得奇怪的是,连不上也没有报错,这个时候程序陷入了一种什么样的状态呢?没有任何输出。
windows系统吧?
@hades ubuntu