压缩列表(ziplist)是列表的底层实现之一。当一个列表只包含少量列表项,并且每个列表项要么是小整数值,要么就是长度比较短的字符串,那么Redis就会使用压缩列表来做列表的底层实现。
压缩列表本质上就是一个字节数组,是Redis为了节约内存而设计的一种线性数据结构,可以包含多个元素,每个元素可以是一个字节数组或一个整数。
Redis的有序集合、散列表和列表都直接或间接使用了压缩列表。当有序集合或散列表的元素个数较少,且元素都是短字符串时,Redis便使用压缩列表作为其底层数据存储结构。列表使用快速链表数据结构存储,而快速链表就是双向链表与压缩列表的组合。
127.0.0.1:6379> HMSET person name zhangsan gender 1 age 22
OK
127.0.0.1:6379> OBJECT ENCODING person
"ziplist"
压缩列表的构成
下图展示了压缩列表的各个组成部分:
压缩列表各个组成部分的详细说明:
属性 | 类型 | 长度 | 用途 |
zlbytes | uint32_t | 4字节 | 记录整个压缩列表占用的内存字节数:对压缩列表进行内存重分配,或者计算zlend的位置时使用 |
zltail | uint32_t | 4字节 | 记录压缩列表表尾节点距离压缩列表的起始地址有多少字节:通过这个偏移量,程序无需遍历整个压缩列表就可以确定表尾节点的地址 |
zllen | uint16_t | 2字节 | 记录了压缩列表包含的节点数量:当这个属性的值小于UINT16_MAX(65535)时,这个属性的值就是压缩列表包含节点的数量;当这个值等于UING16_MAX时,节点的真实数量需要遍历整个压缩列表才能计算得出 |
entryX | 列表节点 | 不定 | 压缩列表包含的各个节点,节点的长度由节点保存的内容决定 |
zlend | uing8_t | 1字节 | 特殊值0xFF(十进制255),用于标记压缩列表的末端 |
下图展示了一个压缩列表示例:
- zlbytes属性的值为0x50(十进制为80),表示压缩列表的总长为80字节
- zltail属性的值为0x3c(十进制为60),表示如果我们有一个指向压缩列表起始地址的指针p,那么只要用指针p加上偏移量60,就可以计算出表尾节点entry3的地址。
- zllen属性的值为0x3(十进制为3),表示压缩列表包含三个节点
列表节点的构成
每个压缩列表节点可以保存一个字节数组或者一个整数值,其中,字节数组可以是以下三种长度的其中一种:
- 长度小于等于63(2^6-1)字节的字节数组
- 长度小于等于16383(2^14-1)字节的字节数组
- 长度小于等于4294967295(2^32-1)字节的字节数组
而整数值则可以是以下六种长度的其中一种:
- 4位长,介于0至12之间的无符号整数
- 1字节长的有符号整数
- 3字节长的有符号整数
- int16_t类型整数
- int32_t类型整数
- int64_t类型整数
每个压缩列表节点都由previous_entry_length、encoding、content 三个部分组成:
previous_entry_length
节点的previous_entry_length
属性以字节为单位,记录了压缩列表中前一个节点的长度。previous_entry_length
属性的长度可以是1字节或者5字节。
- 如果前一个节点的长度小于254字节,那么
previous_entry_length
属性的长度为1字节:前一个节点的长度就保存在这一个字节里面 - 如果前一个节点的长度大于等于254字节,那么
previous_entry_length
属性的长度为5字节:其中属性的第一字节会被设置为0xFE(十进制为254),而之后的四个字节则用于保存前一个节点的长度。
上图展示了一个包含一字节长previous_entry_length
属性的压缩列表节点,属性的值为0x05,表示前一节点的长度为5字节。
上图展示了一个包含一字节长previous_entry_length
属性的压缩列表节点,属性的值为0xFE00002766,其中最高位字节0xFE表示这是一个5字节长的previous_entry_length
属性,而之后的4字节0x00002766(十进制值10086)才是前一节点的实际长度。
得益于节点的previous_entry_length
属性记录了前一个节点的长度,所以程序可以通过指针运算,根据当前节点的起始地址来计算出前一个节点的起始地址:p = c - current_entry.previous_entry_length
。压缩列表从表尾向头节点遍历就是这样实现的哦!
encoding
节点的encoding属性记录了节点的content属性所保存数据的类型以及长度:
- 一字节、两字节或者五字节长,值最高位为00、01或者10的是字节数组编码:这种编码表示节点的content属性保存着字节数组,数组的长度由编码除去最高两位之后的其他位记录
- 一字节长,值的最高位以11开头的是整数编码:这种编码表示节点的content属性保存着整数值,整数值的类型和长度由编码除去最高两位之后的其他位记录
content
节点的content属性负责保存节点的值,节点值可以是一个字节数组或者整数,值的类型和长度由节点的encoding属性决定。
连锁更新
每个节点的previous_entry_length
属性都记录了前一个节点的长度,如果前一个节点的长度小于254字节,那么previous_entry_length
属性需要用1字节长的空间来保存这个长度值;如果前一节点的长度大于等于255字节,那么previous_entry_length
属性需要用5字节长的空间来保存这个长度值。
假设在一个压缩列表中有多个连续的、长度介于250字节到253字节之间的节点e1至eN,因为所有节点的长度都小于254字节,所以记录这些节点的长度只需要1字节长的previous_entry_length
属性。重点来了:如果我们将一个长度大于等于254字节的新节点设置为压缩列表的表头节点,那么它将成为e1的前置节点,因为e1的previous_entry_length
属性仅为1字节,它无法保存新节点的长度,所以程序将对压缩列表执行空间重分配操作,并将e1节点的previous_entry_length
属性从原来的1字节长扩展为5字节长。麻烦来了,扩展行为将一直传递至eN。
因为连锁更新在最坏情况下需要对压缩列表执行N次空间重分配操作,而每次空间重分配的最坏复杂度为O(N),所以连锁更新的最坏复杂度为O(N^2)。
- 首先,压缩列表里要恰好有多个连续的、长度介于250字节至253字节之间的节点,连锁更新才有可能被引发,在实际中,这种情况并不多见;
- 其次,即使出现连锁更新,但只要被更新的节点数量不多,就不会对性能造成任何影响:比如说,对三五个节点进行连锁更新是绝对不会影响性能的;
版权属于:带翅膀的猫
本文链接:https://www.chengpengper.cn/archives/120/
转载时须注明出处及本声明
1OωO
1OωO
1OωO
1OωO
1OωO
555