精华 Limitable Map模块
发布于 3年前 作者 JacksonTian 4145 次浏览

Limitable Map

The limitable map, for avoid memory leak issue.

模块起源

模块的起源来自于我发现JavaScript开发者喜欢利用JSON对象的键值对做缓存对象。

var map = {};

var get = function (key) {
  return map[key];
};

var set = function (key, value) {
  map[key] = value;
};

// 检查缓存
if (!get(key)) {
  // 从数据库或别的地方获取了对象后,放进缓存中
  set(key, value);
}

以上的代码会经常出现在前后端的开发中。这段代码是有潜在风险的。如果对于key不做任何限制,这个缓存对象将可能变得极大。因为将其当作缓存来使用,所以这个对象一直无法回收,当量达到一定的时候,那些不再使用的key,又不能得到回收,就可能造成内存泄漏。
对于字符串或者可以序列化为字符串的对象,通常利用外部缓存工具来完成,比如memcached或者redis来搞定。这些工具具有良好的内存大小控制和过期设置,无需担心内存占用和回收。
但是对于那些无法通过redis来缓存的对象,比如Buffer(为了节省字符串转换的开销),依然需要存放在内存中。这时候这个limitablemap将会帮助你做简单的限制,实现内存回收。

原理

limitable模块的实现原理十分简单,就是在内部维护一个键的数组(队列),当数组的大小到达限制(默认为10)后,将第一个键和键对应元素删除掉。

安装

npm install limitablemap

使用方式

var LimitableMap = require('limitablemap');

var map = new LimitableMap();

map.set("key1", "key1");
map.get("key1");

使用的时候与普通map对象没有差别,只有两个API接口:set/get

注意

在使用时,注意评估有效键的数量,如果设置过小,缓存的作用太小;设置过大,可能会浪费内存。设置限制值的方式如下:

var map = new LimitableMap(100);

模块地址

https://github.com/JacksonTian/limitablemap

最后你如果有更好的方法,或更好的建议,请分享出来。

8 回复

这个可以为每个key添加expire字段以及相应的setcheck方法,来做一个简单的缓存!

var map = [
            {
                "key1": val1,
                "initStamp": timeStamp,
                "expire": microsecond
            },
            {
                "key2": val2,
                "initStamp": timeStamp,
                "expire": microsecond
            },
            ...
        ];

map.set = function(){key, val, expire}{
    ...
};
map.get = function(key){
    //先检查是否过期,如果过期则删除
    ...
};

刚才也有同学提到按各种不同的算法。有空了慢慢实现。

@Jackson 建议在不影响效率的前提下 允许灵活配置 来使这个模块功能更强些~ 比如队列方式删除清理和过期方式清理都支持,这并不影响效率,就可以都支持一下,让模块使用者自己选择哪种策略!

可以考虑设置一个最大上限,在上限范围内可根据需要自动扩容(像ArrayList,HashMap等)来满足变化的存储需求,还有就是过期策略等等,这个模块要做的话还是挺有学问的。

好吧,看看目前我看过,写得最让人看得懂得lru实现吧 https://github.com/rsms/js-lru

Fancy ASCII art illustration of the general design:

    entry             entry             entry             entry        
    ______            ______            ______            ______       
   | head |.newer => |      |.newer => |      |.newer => | tail |      
   |  A   |          |  B   |          |  C   |          |  D   |      
   |______| <= older.|______| <= older.|______| <= older.|______|      
                                                                       
removed  <--  <--  <--  <--  <--  <--  <--  <--  <--  <--  <--  added

Jackson出品必输精品啊~

就像是mongodb的一样啊

卧槽,我正好最近想做个差不多的,加的是时间属性,

回到顶部