我们是一个小团队，全栈JS，后端用的Nodejs，做的是在线epub电子书阅读器，网址：www.neat-reader.cn 因为我们有很多用户想打开 mobi 格式的电子书，或是希望提供一个 mobi 转码成 epub 的功能。所以我们想要搭建一个专门的转码服务器。
至于转码的方式，我们是用一个叫 Calibre 的开源项目提供的 CMD 命令行。 目前我们在阿里云上有一个实验服务器（1核2G内存，Windows Server），用于测试转码服务器的效果。 现在遇到了很奇怪的问题：在本地跑的好好的，但是一旦上到服务器，就会出错，导致服务器崩溃。实在找不到原因，只能求助于大家了。
用户使用我们的服务，以及我们的程序运行的流程如下： 1.用户打开转码页面，选择一个文件，以及目标转码格式，然后点提交。 2.此时前端会向服务器发送一个任务提交请求，后端会在文本数据库中（用的nedb）创建一个task，有id信息，还有新上传的文件要存在哪里之类的信息，最重要的是一个工作状态值：uploading。然后把这些数据返回给前端 3.前端收到task创建成功的返回后，开始上传文件到指定地点（上传使用的是一个叫formidable的包），上传成功后，这个task的状态值会改为waiting。同时告诉前端，文件传完了，然后前端会每一秒使用task id询问服务器：我的这个task现在怎么样了 4.后端每次收到前端的询问请求，都会做一次判断，看看这个task是不是整个task表中，第一个状态为waiting的，如果是，则调用CMD对文件进行转码（CMD使用的是node-cmd包，这个包运行完成后会输出两种状态，要么成功，要么失败，其他我们一概不知），同时把这个task的状态改为processing，期间前端询问时，我们就告诉它正在processing，过1秒你再来问！等CMD成功或是失败后，task的状态就会修改成success或是fail。此时当前端询问时，就告诉它，如果成功，告知下载地址，如果失败，告知失败原因。到此为止，一个转码请求就算结束了。 我们认为按照这样的设计，可以保证很多用户同时提交任务也不会导致崩溃。
类似的流程可以看这个网站：http://www.epubconverter.com/epub-to-mobi-converter/
我们现在遇到的问题是：本地运行好好的，同时打开3个浏览器提交转码任务都没问题。但是一旦上到服务器，随便传两下就崩溃了。 我们猜测原因可能是下列，但是又不知道怎么确定： 1.因为服务器是1核的，本地机器是多核的，所以出问题 2.因为本地的IO操作速度非常快，但是在服务器上，因为有了上传和下载流程，导致程序出问题 3.node-cmd出问题，可能每次启动cmd命令都会影响程序
希望各位大神帮帮忙，看看我们的设计有什么问题，可能的原因是什么，怎么解决。 不胜感激啊！
PS:补充一下在线上的错误信息。每次运行时，第一次转码都能成功，第二次再转，就会出现如下的报错
这个我朋友也遇到过， 第一种情况：阿里自带的硬盘读写很差，而且不是一般的差，你要不买个高速云盘或者一个SSD，可能问题就解决了 第二种：CPU暴涨到100%，内存吃满，很多情况下node意外多开。（我觉得你可能是这里的问题，因为你本地请求量不是很大） （就是有东西一直保持你的node运行）比如： mysql使用了连接池（而这个连接池是不会断开的，一直保持连接）， 而你请求过来，又运行了一个node，而这个node有开了连接池，所以这个node执行到底不会关闭，所以node的进程越来越多 会一直执行它的事件循环，慢慢的node就无限多了，而没有释放。你可以尝试一下process.exit()在程序执行完成的时候，如果问题解决了，你就看一下是不是有什么东西让他不断运行
前提是你这个必须是类似crontab的脚本，而不是网站服务，如果是网站服务，你这样用，页面就直接跪了
问题解决了吗？建议还是不要用阿里云，磁盘速度巨慢无比，如果喜欢用BAT的话百度云IO要好的多，另外可以试试换Linux吧，我刚才试了下不装图形界面，在linux下面可以直接装calibre，ebook-convert这个命令可用。用windows做服务器还要跑这种命令行应用，总觉得有点不靠谱
突然发现你们这个阅读器我好像以前用过，呵呵 还有个可能性就是找找有没有fs.open(‘xxx.xx’, ‘w’)这类的语句，以独占方式打开了文件以后没用fs.close关闭。这种问题有可能导致重复写入文件时的错误
另外还有个想法是觉得node-cmd这种封装了的东西不知道怎么写的不一定靠谱，不如自己用childprocess.spawn来写，可以得到stdout和stderr 两个流、这样的话可以用一个on(‘end’)一类的事件直接判断cli是否执行完了，比那种非常hacky的去一秒查一下进程靠谱的多。还有推荐一个模块，why-is-node-runing，可查看为什么有些时候代码应该结束的时候还没结束。当然前提是最好还是要用linux，稳定性肯定要比windows好
实在不行就用vscode的debug去跑下这个服务器，在出错的时候从调用栈里逐一往上排查看哪里出错了。这个方法是我解决各种坑的最终手段，一步一步断点一步一步排查，找到问题点只是时间问题，如果实在搞不定可以帮忙解决，专业趟坑很多年，也可以接开发项目
@andyhu 关于使用Linux这个问题，我还想多问两句。我们平时开发都是在Windows下完成，现在主要用的是LeanCloud的云引擎（底层是Linux），我们其实是没有办法进入云引擎更底层进行操作的，只能提交代码，然后部署。在Windows上我发现只要找到那个ebook-convert.exe文件，复制到项目里就可以用了。不知道Linux有没有这种用法？就是说，不装Calibre，只是拿到某一个文件，然后用命令行调用那个文件。
@hz0324 Linux下一般不能直接拷贝的，有一些其他动态链接库，软件本身的插件一类的。您可能需要的是 docker，用 docker 来部署，就不用考虑安装问题了，各个平台也能统一。不过windows下要用虚拟机，mac和linux都可以直接在系统下跑。不过我后来仔细看了下，您这次发的这个错误，的确好像是输出log的时候发生的错误。log找不到stdio了，换掉那个node-cmd直接用childprocess应该可以搞定
@andyhu 非常感谢啊。我们确实有用docker的计划，部署和扩容也都比较容易。就是卡在开发机是windows这个事儿上了，看来只能安装个Linux来搞了。现在团队没钱，没法配Mac，悲催啊。
@andyhu 我想问一下，如果使用docker的话，具体该怎么部署呢？目前配置了一个黑苹果，docker环境也都按照网上的教程安装好了，但是下一步却不知道该怎么做了，毕竟需要跟我们自己的服务配合起来。 按照网上的教程也只是搭建了一个nginx服务器，毕竟不是专业弄这个的，弄起来确实无从下手
@myadmin 苹果跑docker不太好用吧，我比较喜欢arch linux这种滚动更新的系统。不过最近我看到消息，windows server 2016版本已经支持不用虚拟机跑原生的docker了。还没具体测试过，不过应该没什么难的。先找篇文章学下基础，自己建立一个dockerfile，然后docker build下既可以了
@hz0324 现在windows 2016可以支持原生docker了。我也用windows开发，最近新买了6个KVM的VPS，自己折腾了一星期给搞了个Windows Server 2012 R2 和 基于 Arch linux 的 Antergos 双启动，性价比很高，4M多线带宽100g硬盘2核CPU，600多一年，还可以启动的时候远程选操作系统双启动或者多启动，磁盘IO读写能到600-700MB/s
我觉得有几个问题， 一、先说基础，楼主好像对linux不是很了解，做后端需要稍微熟悉下 二是直接用nodejs的child_process库即可，挺简单，不需要使用nodecmd，因为那个nodecmd你不知道底层， 三是可以用node的cluster模块管理多个node进程，可以实现并行转码 四是装个虚拟机本地在linux上试一下，或者docker
以上总结也是我也写过类似的任务调度转码项目总结出来的，也遇到过类似的坑，但那是两年前了。希望对楼主有帮助。
来自酷炫的 CNodeMD
@ringtail 如果是内存泄露，一般CPU不会出现持续暴涨，只有在争抢资源的时候才会出现这种情况 如果楼主真想解决，就必须把这段时间，机器的状况贴出来，包括CPU使用率，内存增长和占用情况
如果是CPU使用率高，就很有可能发生争抢资源时引起的死循环或者就是死循环导致 如果是使用内存不断增加而且，一直都没有减少则有可能是内存泄露 如果是并发症，则可以确定死循环，而且由于死循环导致无法CG
calibre 有linux 版本 https://calibre-ebook.com/download_linux
而且有人做的nodejs的库 https://github.com/denouche/node-calibre-api