精华 利用libuv编写异步多线程的addon实例
发布于 2年前 作者 DoubleSpout 5836 次浏览

最近cnode上很多TX在问关于node的异步回调以及单线程的事情,今天看了libuv的一些api和demo,自己简单写了一个利用libuv实现异步多线程的addon的例子,真心希望大牛指正啊。

demo例子的地址: https://github.com/DoubleSpout/libuv_ex 也可以

npm install libuv_ex

请保证您的node版本在0.10.x

首先介绍下libuv,libuv 是一个高性能事件驱动的程序库,封装了 Windows 和 Unix 平台一些底层特性,为开发者提供了统一的 API。libuv 采用了 异步 (asynchronous), 事件驱动 (event-driven)的编程风格, 其主要任务是为开人员提供了一套事件循环和基于I/O(或其他活动)通知的回调函数, libuv 提供了一套核心的工具集, 例如定时器, 非阻塞网络编程的支持, 异步访问文件系统, 子进程以及其他功能。 可见nodejs的一切异步操作都是基于libuv来实现的,有了它的这些api我们也就可以编写出异步的nodejs模块了。

最好结合github上的test和liuv.h来看,更加容易弄懂 中文版的libuv手册:http://forhappy.github.io/uvbook/index.html libuv项目地址:https://github.com/joyent/libuv

简单介绍一下这个demo实例把,我在demo里写了5个例子,分别用了不同的技术,执行了10次fibo(40),最后所得到的结果也各不相同。 c++代码都在 ./src 文件夹中,Asyn类中定义了下述5种不同情况的方法和一些libuv的api所需要的回调函数,在job类中,定义了执行fibo的任务函数,和一些相关设置,在线程中或者异步回调中传递的都是job类的指针。 例子执行代码如下:

//do fibo 10 times
var i = 40;
var times = 10;

asyn.sync(times,i,function(err, result){ //1、这里执行10次fibo(40)的函数,分别用不同的技术
    console.log('fibo('+i+'):' + result)
})

var d1 = Date.now();
while(Date.now() - d1 <= 1000*1){ //2、这里将主线程sleep 1秒,模拟js的执行工作
    //sleeping 10sec simulate the js work
}

我们分别以5种不同的方式执行10次fibo(40),看看测试结果会是什么样子的,我们主要记录全部执行任务的时间和模拟的js任务执行的时间。

1、完全同步,在c++代码中直接10次循环执行fibo(40) 执行测试代码: https://github.com/DoubleSpout/libuv_ex/blob/master/test/sync.js

main_thread_js_work: 4568ms
sync_all_the_work: 4568ms

可见js执行完毕和所有任务执行完成是同一时间的,这个结果合情合理

2、使用libuv创建同步线程来计算fibo,然后将结果回调主线程 执行测试代码: https://github.com/DoubleSpout/libuv_ex/blob/master/test/sync_thread.js

main_thread_js_work: 4595ms
sync_thread_all_the_work: 4595ms

由于整个程序都是同步的,所以和之前一样,同步的多线程没有明显提升结果

3、使用libuv的async异步回调方式,将所有任务注册到事件循环中,这样将先执行js的sleep,然后在主线程中分别计算fibo的结果,这种情况有点像我们使用process.nextTick来让一个计算异步执行,保证当前主线程的工作不被阻塞,最后进行耗时计算。 执行测试代码: https://github.com/DoubleSpout/libuv_ex/blob/master/test/asyn.js

main_thread_js_work: 1003ms
asyn_all_the_work: 4457ms

因为我们将fibo放在了异步去执行,所以js的任务将被先执行,js任务执行了1秒(我们模拟sleep了1秒)之后就是fibo的任务,总时间和上面两种情况大致相同。

4、使用libuv的async异步回调的方式,我们先注册fibo执行完毕的异步回调函数,然后创建异步的线程去执行fibo,这样js的任务将和fibo线程同时进行工作. 执行测试代码: https://github.com/DoubleSpout/libuv_ex/blob/master/test/asyn_thread.js

main_thread_js_work: 1017ms
asyn_thread_all_the_work: 1897ms

因为js任务抢占着主线程,同时也是因为js任务执行时间比较短,所以js任务结束提示先打印到了屏幕上,然后各异步线程也执行完毕,总耗时1897ms,比上面几种情况要快一倍,这主要归功于多核CPU的同时计算

5、使用libuv自带的线程池进行异步计算fibo,我们先向线程池注册工作回调,然后再注册主线程的完成回调 执行测试代码: https://github.com/DoubleSpout/libuv_ex/blob/master/test/asyn_pool.js

main_thread_js_work: 1002ms
asyn_pool_all_the_work: 2382ms

这种情况和上述情况一样,不过我们不是为每个计算生成一个线程,而是使用了libuv内部的线程池,所以制约了并行计算的能力,但是这样更加安全,不容易因为不可控的线程数量导致程序崩溃,事实上libuv为我们提供了4个线程的线程池。

最后总结一下: 使用libuv我们最好采用可控的异步线程配合异步回调来做一些事情,这样可以不阻塞主的js线程,还能并行执行任务,当任务结束后记得一定要回调主线程去执行js的回调函数,不能在其他线程去执行js的回调,因为在v8的一个isolate中,不可以多个线程同时操作一个isolate。当我们在线程中操作共享变量时记得加锁和解锁。在异步任务执行完毕后记得执行uv_close,将其关闭,同时因为我们都是将指针作为参数传递的,不要忘记delete掉之前new的指针,这样通过libuv的异步多线程api,我们就可以很轻松的为nodejs编写一些跨平台非阻塞扩展了。 PS,经过在win8 64位 和 linux 2.6.4 32bit虚拟机的测试中,我发现win8真是弱爆了,linux虚拟机执行上述任务的所消耗时间比我真机win8还要少一些。

博客原文地址: http://snoopyxdy.blog.163.com/blog/static/601174402013422103614385/

10 回复

膜拜,未来N年都不会再碰C的撸过…最近一次碰C是高中了…

拾起来吧,玩nodejs真的需要c++知识

@snoopy 可能吧,因为暂时只是浅尝Node.js,未知道C++的重要性

我30岁大叔了,高中以后就一直和编程脱离,中间十几年都在泡音乐和音频,很深刻印象以前80286~80486那些年代,C要学下去做点东西出来必须得汇编,所以那时候很多和底部的接口都是直接抄过来,这让我很不爽,因为不知道渔,只有鱼,汇编我实在学不进去啊

当然今天情况大大不同了,但HTTP接着下层就是TCP,再往下层走不知道走到何年何月,如果Node.js拓展到C,再往下走网太tmd大了,我身边的朋友已经在质疑我网铺太大,虽然我一直认为在控制中,现在就是PS+HTML+CSS+JavaScript +Node.js+MongoDB这张网,会顺带一点很浅的TCP(因为我觉得Ajax淘汰是迟早的事情),但主攻还是JS…网的最后两者要在大数据时代干好,数学的深厚功力是必不可少的,我已经难以想象这网得要多大

短期目标还是自己能写Connect之类的框架吧,今天已经把整个架构的思路弄明白了…Node.js源码没看是因为有C啊…所以我才发贴问createServer的机理

正开始看 addon. 楼主好文。

可能例子有问题的啊,多交流~

@BiGMuSiC 你的经历很丰富啊,喜欢音乐就不要放弃啊,继续走下去吧。C实在比较难,C++就简单许多了,了解下其他web服务器的工作流程,connect就很容易理解了。另外我再过2年也30了,儿子都4岁了。。。也老了,哎

@snoopy

我擦,C++简单许多么?完全没有了解过,我问题儿童一下比起Javascript,C++难不

@BiGMuSiC c++和js完全不是一个级别的东西,肯定c++要难的,和js很像的语言我感觉就是lua了,不是也有node-lua么,总体来说动态语言要更简单一些

回到顶部