nodejs里有大的数据处理怎么办？

用nodejs做了一个excel导入功能，但是用户导入的数据有多有少，有人导入了几十万行的excel，node处理慢了点就造成了阻塞。有优化方案吗？我服务器是单核的。。。

i5ting 1楼•2 个月前

stream

flyingcodes 2楼•2 个月前

node.js不能处理需要cpu运算的需求，交给真正的后端

CarlosRen 3楼•2 个月前

excel如何导入的？

AntSworD 4楼•2 个月前

stream

CN-Sean 5楼•2 个月前

@CarlosRen 用了一个npm，把xml解析成json的。

CN-Sean 6楼•2 个月前

@i5ting 我用了xlsx这个npm做的解析成json。

i5ting 7楼•2 个月前

@flyingcodes 别乱说

youyudehexie 8楼•2 个月前

node处理是怎么导致阻塞的，你是用 fs 里面同步的api？还是异步？

bendise 9楼•2 个月前

才几十万行就不行了？怀疑你的代码自豪地采用 CNodeJS ionic

JacksonTian 10楼•2 个月前

这种做成流式处理吧。或者离线处理。

flyingcodes 11楼•1 个月前

@i5ting 呵呵，并发量少或者文件比较小可以用stream，否则到达一定的并发量或者文件比较大，就会出现lz所看到的阻塞，这就是node.js的本质，不管如何优化，也就是量变而已，根本不会发生质变

i5ting 12楼•1 个月前

@flyingcodes 这是哪个语言实现都会遇到的，大文件读写没有什么更好的办法，朴大@JacksonTian 给的这样的方法，

不然，你给一个更好的吧

flyingcodes 13楼•1 个月前

@i5ting 我早说了，交给真正的后端处理，使用node.js就要利用node。js的优势，避免陷入坑里

i5ting 14楼•1 个月前

@flyingcodes 什么叫真正的后端？

flyingcodes 15楼•1 个月前

@i5ting 伪后端后面的后端就叫真正的后端

xiaxiaokang 16楼•1 个月前

@flyingcodes 第一听说还有伪后端！

airyland 17楼•1 个月前

异步处理。先上传文件，进入任务队列，用另一个进程来处理。

flyingcodes 18楼•1 个月前

@xiaxiaokang 那只能说明你孤陋寡闻了

yakczh 19楼•1 个月前

1 写c++计算的模块 2 通过消息队列扔给java

xiaxiaokang 20楼•1 个月前

@flyingcodes 后端的定义是什么呢？

lian1925 21楼•1 个月前

楼主描述的场景是：上传大文件，伴随高并发的应用场景。对这种情况，真正的瓶颈在于单核的单节点服务器已接近临界值了，建议楼主提升服务器性能，采用服务节点集群方式处理。

mzTeamMeatMan 22楼•1 个月前

每行一个异步处理

flyingcodes 23楼•1 个月前

@xiaxiaokang 连后端是什么都不知道，难怪不知道什么是伪后端

highsea 24楼•1 个月前

@flyingcodes 感谢真正的后端工程师莅临 node 社区，大家热烈欢迎一下

stream 不错~ https://github.com/substack/stream-handbook

cnlile 25楼•1 个月前

@yakczh 为啥不直接nodejs 处理，调用自身C++模块处理不好吗？

yakczh 26楼•1 个月前

@cnlile 因为nodejs挂了，所有的数据都挂了现场环境都丢失了传给java的话，nodejs挂了， java不会挂 java比nodejs稳定得多

flyingcodes 27楼•1 个月前

@highsea 不用酸我，我前端，伪后端，后端，数据持久层都做，我知道在哪些地方适合用哪些技术，而不是一味只用一种技术。每种技术都有优点和缺点，我只在特定场合选择最适合的