读取ES大量数据,写入到csv文件中,读取的快,写入的慢,导致文件中的数据少于实际数据
目前情况: 我有个任务数据量为40-60万,存在ES里,分页获取然后写入到createwritestream的文件中,测试环境的机器在北京,ES在无锡,这样读取与写入的不会存在这种问题,线上环境的机器都在无锡,这个问题就出现了,createwritestream文件有缓存,问题的原因应该是缓存的数据还没写完,新的数据又来了,后续的数据就写不进去了,各位大大有什么方案可以解决我的问题,感激不尽,谢谢…