Redis如何做内存优化「redis增加内存」
今天给大家普及一下Redis如何做内存优化「redis增加内存」相关知识,最近很多在问Redis如何做内存优化「redis增加内存」,希望能帮助到您。
场景:
一些大型电商系统大量使用redis,我们将大量的商品基础数据和促销方案数据存放在redis集群中,单台服务器内存百G,体量也是相当庞大。所以我们也在不断的想方法优化减少redis的内存使用量,把我们的优化方法和碰到的实际问题与大家分享。
采用Hash代替<K,V>键值对存储
因为是存放商品维度的数据,商品skuId往往会作为key,而一个商品sku会存在多个信息,比如商品名称,商品图片地址,商品促销语等等,比较容易想到的存储结构是采用Hash,将一个商品的多个信息作为hash里的不同field来存放。
什么是ziplist?
Redis官方对于ziplist的定义是(出自ziplist.c的文件头部注释):
The ziplist is a specially encoded dually linked list that is designed to be very memory efficient. It stores both strings and integer values, where integers are encoded as actual integers instead of a series of characters. It allows push and pop operations on either side of the list in O(1) time.
翻译一下就是说:ziplist是一个经过特殊编码的双向链表,它的设计目标就是为了提高存储效率。ziplist可以用于存储字符串或整数,其中整数是按真正的二进制表示进行编码的,而不是编码成字符串序列。它能以O(1)的时间复杂度在表的两端提供 push 和 pop 操作。
实际上,ziplist充分体现了Redis对于存储效率的追求。一个普通的双向链表,链表中每一项都占用独立的一块内存,各项之间用地址指针(或引用)连接起来。这种方式会带来大量的内存碎片,而且地址指针也会占用额外的内存。而ziplist却是将表中每一项存放在前后连续的地址空间内,一个ziplist整体占用一大块内存。它是一个表(list),但其实不是一个链表(linked list)。
另外,ziplist为了在细节上节省内存,对于值的存储采用了变长的编码方式,大概意思是说,对于大的整数,就多用一些字节来存储,而对于小的整数,就少用一些字节来存储。我们接下来很快就会讨论到这些实现细节。
优化思路
善用Hash,List,ZSet的ziplist压缩特性
Redis针对Hash,List,ZSet都实现了ziplist的压缩存储,可以通过配置最大元素不超过512,每个元素大小不超过64bytes,来判断是否要采用 !ziplist压缩格式 存储。
注意:虽然这个ziplist是否启用做成了配置参数,但对这个配置参数的修改要谨慎,因为ziplist是一个连续的数组空间,查找效率不是O(1)的,如果设置元素超过512太多,可能导致查找效率降低,反而影响性能。那为什么Redis会采用512*64bytes这样的默认配置呢?据说是这个大小可以被加载进CPU的Cache里,所以即使不是O(1),查找效率也是很快的。
优先使用数字类型,比String类型省空间
在Redis的内部,不管是数字类型,String类型,都会统一用一个叫redisObject的对象做一层封装:
typedef struct redisObject {
unsigned type:4;
unsigned encoding:4;
unsigned lru:LRU_BITS; /* lru time (relative to server.lruclock) */
int refcount;
void *ptr;
} robj;
可见,一个简简单单的”hello world”在redis里都不是直接11个bytes就搞定的,还有很多附加的属性,比如引用计数(内存回收)refcount,lru清理等信息。
但如果使用了上面提到的ziplist,redis对ziplist里元素做了裁剪,让数据更紧凑,所以针对数字,做了一些特别处理:
* |11000000| - 1 byte
* Integer encoded as int16_t (2 bytes).
* |11010000| - 1 byte
* Integer encoded as int32_t (4 bytes).
* |11100000| - 1 byte
* Integer encoded as int64_t (8 bytes).
* |11110000| - 1 byte
* Integer encoded as 24 bit signed (3 bytes).
* |11111110| - 1 byte
* Integer encoded as 8 bit signed (1 byte).
* |1111xxxx| - (with xxxx between 0000 and 1101) immediate 4 bit integer.
* Unsigned integer from 0 to 12. The encoded value is actually from
* 1 to 13 because 0000 and 1111 can not be used, so 1 should be
* subtracted from the encoded 4 bit value to obtain the right value.
先用1byte来表示不同的encode,针对大小不同的数字,分别采用不一样的内存空间来存储,比如0-127就是2个字节,128-32768就是4个字节等等。所以算下来,和String相比,大部分情况下更省内存。