Node.js怎么读取百万行数据
发布于 4天前 作者 songqinghehe 458 次浏览 来自 问答

请问,node.js怎么读取百万行数据切要分析完毕后在写入到另外一个文件,貌似流不管用?pipe如何操作?求大神指点

11 回复

我的处理方法是用 fs.createReadStream 逐行读入,处理后存入数据库。 输出时从数据库读入,输出到文件。

@leapon 流如何处理 比如文件格式为:1\n2\n3 怎么拿出来在处理?

这个有现成的库

@wuxiaoqian88 请问是什么库?我是小白

百万行一行就1个?目前我读取200W的7位数id直接用readFile没压力。

文件的内容是逐行读出的,再自行处理

    readInterface.on('line', function(line) {
      // process line
    });

@haozxuan 200W 用readFile无压力?全取出来内存不会溢出?

@songqinghehe 百万也就兆级别,关键是每一条多大

@songqinghehe 不会很大,v8控制一个进程最大内存为1.7G,200W7位id才18M读到内存没丝毫压力

回到顶部