node 如何高效批量处理多文件夹下的多个文件
发布于 1 年前 作者 elevensky 1095 次浏览 来自 问答

场景:需要对一个文件下的众多子文件夹下的多个文件同时进行处理。 预设问题:能利用cluster多子进程同时进行处理么? 没做过这方面的工作,有大神能提点下具体思路么?

2 回复

单个 node 进程可用内存最大 1.4G 左右,如果单个文件很大不要一次性把整个文件 load 到内存,可以用 stream 操作或按行处理。至于多进程可以用 worker-farm

@helloyou2012 好的,谢谢

回到顶部