Redis核心原理与实战

Redis执行流程：

当用户输入一条命令之后，客户端会以 socket 的方式把数据转换成 Redis 协议，并发送至服务器端，服务器端在接受到数据之后，会先将协议转换为真正的执行命令，在经过各种验证以保证命令能够正确并安全的执行，但验证处理完之后，会调用具体的方法执行此条命令，执行完成之后会进行相关的统计和记录，然后再把执行结果返回给客户端，整个执行流程，

1.输入命令

2.将命令转换成成Redis的协议，通过socket发送到服务器

3.服务器接收到后对Redis协议进行解析，变成可以执行的redis命令

4.服务端鉴权

5.执行最终命令，调用 redisCommand 中的 proc 函数执行命令。

6.执行完进行相关记录和统计

7.将执行的结果通过socket返回给客户端

2.Redis的容错

RDB: 二进制文件，性能好，但是可能会丢数据

AOF：日志文件，可以设置always, everyseconds, no；能最大限度的保证数据不丢失，但是恢复的性能比较慢，虽然AOF也提供了优化机制：AOF重写

RDB和AOF混部：其实还是读的AOF文件，因为当AOF开启时，不管有没有开启RDB，都会使用AOF。混合部署时，其实是将RBD文件写入到了AOF文件的开头。这样恢复时，就可以通过RDB+AOF的方式进行恢复了。

混合持久化的加载流程如下：

判断是否开启 AOF 持久化，开启继续执行后续流程，未开启执行加载 RDB 文件的流程；
判断 appendonly.aof 文件是否存在，文件存在则执行后续流程；
判断 AOF 文件开头是 RDB 的格式, 先加载 RDB 内容再加载剩余的 AOF 内容；
判断 AOF 文件开头不是 RDB 的格式，直接以 AOF 格式加载整个文件。

3.Redis基本类型和原理

1.字符串

实现原理：SDS，包含了三种不同的数据类型：int、embstr 和 raw。int 类型很好理解，整数类型对应的就是 int 类型，而字符串则对应是 embstr 类型，当字符串长度大于 44 字节时，会变为 raw 类型存储。

2.Hash

字典类型本质上是由数组和链表结构组成的。来看字典类型的源码实现：

typedef struct dictEntry { // dict.h
    void *key;
    union {
        void *val;
        uint64_t u64;
        int64_t s64;
        double d;
    } v;
    struct dictEntry *next; // 下一个 entry
} dictEntry;

通常情况下字典类型会使用数组的方式来存储相关的数据，但发生哈希冲突时才会使用链表的结构来存储数据。

Redis 为了保证应用的高性能运行，提供了一个重要的机制——渐进式 rehash。渐进式 rehash 是用来保证字典缩放效率的，也就是说在字典进行扩容或者缩容是会采取渐进式 rehash 的机制。

3.List

列表类型 (List) 是一个使用链表结构存储的有序结构，它的元素插入会按照先后顺序存储到链表结构中，因此它的元素操作 (插入\删除) 时间复杂度为 O(1)，所以相对来说速度还是比较快的，但它的查询时间复杂度为 O(n)，因此查询可能会比较慢。底层：列表类型并不是简单的双向链表，而是采用了 quicklist 的数据结构对数据进行存取，quicklist 是 Redis 3.2 新增的数据类型，它的底层采取的是压缩列表加双向链表的存储结构，quicklist 为了存储更多的数据，会对每个 quicklistNode 节点进行压缩，这样就可以有效的存储更多的消息队列或者文章的数据

4.Set

集合类型是由整数集合 (intset) 或者是哈希表 (hashtable) 组成的，集合类型比较适合用来数据去重和保障数据的唯一性，除此之外，集合类型还可以用来统计多个集合的交集、错集和并集 (见附录)。当我们存储的数据是无序并且需要去重的情况下，比较适合使用集合类型进行存储。当元素都为整数并且元素的个数没有到达设置的最大值时，键值的存储使用的是 intset 的数据结构，反之到元素超过了一定的范围，又或者是存储的元素为非整数时，集合会选择使用 hashtable 的数据结构进行存储。

5.Sorted Set

有序集合是由 ziplist (压缩列表) 或 skiplist (跳跃表) 组成的。

为什么是跳跃表？而非红黑树？

因为跳跃表的性能和红黑树基本相近，但却比红黑树更好实现，所有 Redis 的有序集合会选用跳跃表来实现存储。

4.Redis事务

Redis 中的事务从开始到结束也是要经历三个阶段：

开启事务
命令入列
执行事务/放弃事务

其中，开启事务使用 multi 命令，事务执行使用 exec 命令，放弃事务使用 discard 命令。

5.Redis键值过期的操作

Redis 中设置过期时间主要通过以下四种方式：

expire key seconds：设置 key 在 n 秒后过期；
pexpire key milliseconds：设置 key 在 n 毫秒后过期；
expireat key timestamp：设置 key 在某个时间戳（精确到秒）之后过期；
pexpireat key millisecondsTimestamp：设置 key 在某个时间戳（精确到毫秒）之后过期；

字符串中的过期操作

字符串中几个直接操作过期时间的方法，如下列表：

set key value ex seconds：设置键值对的同时指定过期时间（精确到秒）；
set key value px milliseconds：设置键值对的同时指定过期时间（精确到毫秒）；
setex key seconds valule：设置键值对的同时指定过期时间（精确到秒）。

6.过期策略

Redis 会删除已过期的键值，以此来减少 Redis 的空间占用，但因为 Redis 本身是单线的，如果因为删除操作而影响主业务的执行就得不偿失了，为此 Redis 需要制定多个（过期）删除策略来保证糟糕的事情不会发生。

常见的过期策略有以下三种：

定时删除
惰性删除
定期删除

Redis 使用的是惰性删除加定期删除的过期策略。

7.Redis 管道技术—Pipeline

管道技术是将任务一次性批量发送到服务端处理，然后批量返回结果的一种的技术，主要是为了解决每条命令执行后需要等待的情况，从而有效的提高了程序的执行效率。但是使用管道技术也要注意避免发送的命令过大，或者管道内的数据太多而导致的网络阻塞。

8.游标迭代器（过滤器）——Scan

Scan 是一个系列指令，除了 Scan 之外，还有以下 3 个命令：

HScan 遍历字典游标迭代器
SScan 遍历集合的游标迭代器
ZScan 遍历有序集合的游标迭代器

Scan 具备以下几个特点：

Scan 可以实现 keys 的匹配功能；
Scan 是通过游标进行查询的不会导致 Redis 假死；
Scan 提供了 count 参数，可以规定遍历的数量；
Scan 会把游标返回给客户端，用户客户端继续遍历查询；
Scan 返回的结果可能会有重复数据，需要客户端去重；
单次返回空值且游标不为 0，说明遍历还没结束；
Scan 可以保证在开始检索之前，被删除的元素一定不会被查询出来；
在迭代过程中如果有元素被修改， Scan 不保证能查询出相关的元素。

9.HyperLogLog

类似集合的效果，用于快速的统计count的算法，可以用极小的空间占用实现，但是由于是基于hash，可能会有一定的误差(0.83%)。

HyperLogLog的算法：

相当于把存储的值经过 hash 之后，再将 hash 值转换为二进制，存入到不同的桶中，这样就可以用很小的空间存储很多的数据，统计时再去相应的位置进行对比很快就能得出结论，这就是 HLL 算法的基本原理，想要更深入的了解算法及其推理过程，可以看去原版的论文，链接地址在文末。

10.内存淘汰机制算法

Redis 内存淘汰策略和过期回收策略是完全不同的概念，内存淘汰策略是解决 Redis 运行内存过大的问题的，通过与 maxmemory 比较，决定要不要淘汰数据，根据 maxmemory-policy 参数，决定使用何种淘汰策略，在 Redis 4.0 之后已经有 8 种淘汰策略了，默认的策略是 noeviction 当内存超出时不淘汰任何键值，只是新增操作会报错。

Redis学习笔记

Redis核心原理与实战

评论 (0)