jsGen技术总结之：在Node.js中构建redis同步缓存
发布于 1年前 作者 zensh 2603 次浏览

以前版本的jsGen直接利用Node.js的Buffer内存缓存数据，这样带来的一个问题是无法开启Cluster，多个Node.js进程的内存都是相互独立的，不能相互访问，不能及时更新数据变动。

新本（0.6.0）jsGen使用了第三方内存数据库redis作为缓存，如此以来多进程或多机运行jsGen成为可能。redis作为内存缓存的唯一缺陷就是——异步驱动，读取或写入数据都得callback！。

var myData;

redisCache.get(key, function (err, data) {
    // callback读取缓存数据
    myData = data;
});

redisCache.put(key, myData, function (err, reply) {
    // 写入缓存，callback确认写入结果
});

那么，有没有办法构建一个“同步”的redis缓存呢，使得读取、写入缓存像下面一样简单：

// 从缓存读取数据
var myData = redisCache.data;

// 往缓存写入数据
redisCache.data = myData;

redis同步缓存原理

我采用JavaScript的getter、setter和闭包构建了这个redis同步缓存：

利用闭包创建一个缓存数据镜像，读取缓存时，getter从镜像读取；写入缓存时，setter把值写入镜像，再写入redis数据库。

如果开启多进程，缓存镜像仍然是分布在各个进程中，是相互独立的。如果一个进程更新了缓存数据，如何及时更新其它进程的缓存镜像呢？这就用到了redis的Pub/Sub系统，setter更新缓存时，更新数据写入数据库后，发布更新通知，其它redis进程收到通知就从redis数据库读取数据来更新镜像。

各进程的缓存虽然不是真正的同步更新，但也算及时更新了，可以满足一般业务需要。缺点是多消耗了一倍的内存。对于频繁访问更新的小数据，如config数据，很适合采用这个方案。下面是来自jsGen/lib/redia.js的源代码，通过一个config的json数据模板构建一个redis同步缓存的config对象，数据不但写入了redis数据库，还按照一定频率写入MongoDB数据库。

jsGen源代码片段

// clientSub：专用于订阅的redis client
// client[globalCacheDb]：存取数据的redis client
// 异步任务函数then及then.each，见 https://github.com/zensh/then.js

function initConfig(configTpl, callback) {
    var config = {},
        // 新构建的config缓存
        _config = union(configTpl),
        // 从configTpl克隆的config闭包镜像
        subPubId = MD5('' + Date.now() + Math.random(), 'base64');
        // 本进程的唯一识别ID

    callback = callback || callbackFn;

    var update = throttle(function () {
        jsGen.dao.index.setGlobalConfig(_config);
    }, 300000); // 将config写入MongoDB，每五分钟内最多执行一次

    function updateKey(key) {
    // 更新镜像的key键值
        return then(function (defer) {
            client[globalCacheDb].hget('config.hash', key, defer);
            // 从redis读取更新的数据
        }).then(function (defer, reply) {
            reply = JSON.parse(reply);
            _config[key] = typeof _config[key] === typeof reply ? reply : _config[key];
            // 数据写入config镜像
            defer(null, _config[key]);
        }).fail(errorHandler);
    }

    clientSub.on('message', function (channel, key) {
        var ID = key.slice(0, 24);
        key = key.slice(24);
        // 分离识别ID和key
        if (channel === 'updateConfig' && ID !== subPubId) {
        // 来自于updateConfig频道且不是本进程发出的更新通知
            if (key in _config) {
                updateKey(key); // 更新一个key
            } else {
                each(_config, function (value, key) { // 更新整个config镜像
                    updateKey(key);
                });
            }
        }
    });
    clientSub.subscribe('updateConfig');
    // 订阅updateConfig频道

    each(configTpl, function (value, key) {
    // 从configTpl模板构建getter/setter，利用Hash类型存储config
        Object.defineProperty(config, key, {
            set: function (value) {
                then(function (defer) {
                    if ((value === 1 || value === -1) && typeof _config[key] === 'number') {
                        _config[key] += value;
                        // 按1递增或递减，更新镜像，再更新redis
                        client[globalCacheDb].hincrby('config.hash', key, value, defer);
                    } else {
                        _config[key] = value;
                        // 因为redis存储字符串，下面先序列化。
                        client[globalCacheDb].hset('config.hash', key, JSON.stringify(value), defer);
                    }
                }).then(function () {
                // redis数据库更新完成，向其他进程发出更新通知
                    client[globalCacheDb].publish('updateConfig', subPubId + key);
                }).fail(jsGen.thenErrLog);
                update(); // 更新MongoDB
            },
            get: function () {
                return _config[key];
                // 从镜像读取数据
            },
            enumerable: true,
            configurable: true
        });
    });
    // 初始化config对象的值，如重启进程后，如果redis数据库原来存有数据，读取该数据
    then.each(Object.keys(configTpl), function (next, key) {
        updateKey(key).then(function (defer, value) {
            return next ? next() : callback(null, config);
            // 异步返回新的config对象，已初始化数据值
        }).fail(function (defer, err) {
            callback(err);
        });
    });
    return config; // 同步返回新的config对象
}

初始化代码，详见jsGen/app.js

then(function (defer) {
    redis.initConfig(jsGen.lib.json.GlobalConfig, defer);
    // 异步初始化config缓存
}).then(function (defer, config) {
    jsGen.config = config;
    // config缓存引用到全局变量jsGen
    // ...
}).then(function (defer, config) {
    // ...
});

调用示例

// 从config缓存取配置值并new一个LRU缓存
jsGen.cache.user = new CacheLRU(jsGen.config.userCache);

// 更新网站访问次数
jsGen.config.visitors = 1; // 网站访问次数+1
回到顶部