Redis 源码解析 - listpack

我们用一个通俗易懂的比喻，来揭开 Redis Listpack 的神秘面纱。

从一个“搬家打包”的比喻开始

想象一下，你要搬家，需要把一堆杂物（数据）装进箱子（内存）里。

1. 原始方法（普通链表）：

  你把每一样东西，比如一本书、一个水杯、一个台灯，都分别装进一个小盒子，然后用一根绳子把这些小盒子串起来。这样做的好处是，拿取或放入某个盒子里的东西很方便（增删灵活），但缺点是：

  · 绳子（指针）本身也占地方。

  · 一堆小盒子比一个大箱子更浪费空间（内存碎片）。

  · 如果你想找第100个盒子里的东西，你得从第一个开始数绳子，数到100才行（查找效率O(n)）。

2. 初步优化方法（Redis 的 Ziplist）：

  你觉得上面的方法太浪费了。于是你换了个方法：你找了一个结实的大纸箱，然后把书、水杯、台灯一个紧挨着一个地塞进去，并在箱盖里面贴一张“物品清单”，记录着每样东西在箱子里的位置。

  · 优点：非常节省空间！没有多余的小盒子和绳子，所有东西都紧密排列。

  · 缺点：如果你想从箱子中间拿走水杯（删除），或者塞进去一个篮球（插入），你就必须把水杯后面的所有东西都往前挪，或者把篮球后面的东西都往后挪，才能腾出空间。更麻烦的是，你还得重新修改箱盖上的“物品清单”。这个“挪动”的过程非常耗时，如果箱子很大，就会很慢。这个问题我们称之为 “连锁更新”。

3. 更聪明的方法（主角：Listpack）：

  经历了上面的麻烦，你发明了一个更聪明的打包方法。你还是用一个大箱子，但这次，你给每一件物品都配了一个“专属小标签”。

  · 这个“小标签”上写着：

    · “我是什么？” （编码类型，比如是书还是水杯）

    · “我占多大地方？” （数据本身的长度）

    · “我这个包裹的总长是多少？” （包含“小标签”和“物品”的总长度）

  最关键的就是这个 “总长度” ！现在，你的箱子从后往前看是这样的：

  ...[总长度3] [书] [总长度5] [水杯] [总长度4] [台灯]...

  Listpack 的精髓就在这里：它不需要一个全局的“物品清单”，每个物品都自带“导航”。

---

什么是 Redis Listpack？

Listpack 可以理解为 “一个超级紧凑的、自包含的列表”。它是 Redis 为了替代旧的 Ziplist 而设计的更高效、更健壮的数据结构。

它的核心设计思想是：让列表中的每一个元素，自己记录关于自己的所有信息，而不是依赖一个中心化的“头”来管理。

Listpack 解决了什么问题？（它的优势）

对比它的前辈 Ziplist，Listpack 的优势非常明显：

1. 彻底消灭了“连锁更新”

  · Ziplist 的问题：因为它的每个条目只记录了“前一个条目的长度”，所以当其中一个条目长度发生变化时，后面所有的条目都需要更新这个“前一个条目的长度”信息，引发连锁反应。

  · Listpack 的妙招：每个条目只记录 “我自己的总长度” 。你要修改或删除我？你只需要看我自己的这个长度字段，然后直接操作就行了。我后面的兄弟条目完全不受影响！这大大提升了增删操作的性能。

2. 结构更简单，更健壮

  · 由于每个条目都是独立的，代码实现起来更简单，不容易出错。

  · 遍历起来也非常方便，无论是从前往后还是从后往前，都可以通过每个条目的“总长度”字段轻松跳转到下一个。

3. 依然保持极致的紧凑性

  · 和 Ziplist 一样，Listpack 将所有数据紧密地排列在一块连续的内存里，最大限度地减少了内存开销（比如指针带来的开销），对 CPU 缓存非常友好。

Listpack 的内部小秘密（简单看看）

我们深入一点点，看看 Listpack 这个“箱子”里到底长什么样：

· 总字节数：开篇告诉你这个箱子一共有多大。

· 元素个数：告诉你箱子里一共有多少件物品。

· 元素列表：这就是我们刚才说的，一个个带着“专属小标签”的物品。

 · 编码： 区分这件物品是整数还是字符串。

 · 数据： 物品本身，比如 "hello", 123。

 · 元素总长度： 最关键的部分！记录了【编码 + 数据 + 元素总长度字段自身】占用的总字节数。

· 结束符：一个特殊的标志，表示箱子到这里就结束了。

```

| 总字节数 | 元素个数 | [编码 | 数据 | 元素总长度] | [编码 | 数据 | 元素总长度] | ... | 结束符 |

```

正是因为每个元素都包含了“元素总长度”，它才能实现独立管理，避免连锁更新。

Listpack 在 Redis 中的应用

你可能不会直接用到 Listpack 这个名词，因为它是一个底层实现。但是，当你使用以下数据类型时，在数据量较小的情况下，Redis 很可能正在背后使用 Listpack 来为你高效地节省内存：

· List（列表）

· Hash（哈希）

· Stream（流）：这是 Listpack 的一个重要应用场景，用于存储流消息，其紧凑的特性非常适合这种场景。

总结

让我们用三句话总结一下：

1. Listpack 是一个“内存节约大师”：它用连续内存存储数据，极大地减少了内存占用。

2. 它是一个“独立自主的公民”：每个元素都自带长度信息，不依赖前后邻居，因此增删改操作更快，避免了连锁更新。

3. 它是 Redis 进化的成果：作为 Ziplist 的继任者，它在保持紧凑优势的同时，解决了前者的核心痛点，是 Redis 追求极致性能的又一个体现。

希望这个从“搬家打包”开始的介绍，能让你对 Redis Listpack 有一个清晰而直观的理解！

上一条：购软平台是redis供应商

下一条：Redis简单了解