Redis跳表讲座
redis心跳机制
redis心跳机制Redis是一款广泛使用的高性能开源键值对存储系统，具有速度快、易扩展、功能强大等特点，被广泛应用于各类企业级应用中。
随着Redis在业务中的重要性越来越高，一些高可用的技术也变得越来越重要，其中心跳机制就是其中之一。
本文将详细介绍Redis心跳机制的原理、应用以及优化。
一、原理Redis心跳机制是指在Redis主从复制中，从Redis 实例定时向主Redis实例发送心跳包，以检测主Redis实例是否正常工作。
如果主Redis实例宕机或者断网等异常情况，从Redis实例将无法收到心跳响应，从而触发故障转移操作，将从Redis实例晋升为主Redis实例，保证业务的不间断服务。
在Redis主从复制中，从Redis实例会以配置文件中的repl-ping-slave-period配置项的时间间隔向主Redis 实例发送一条ping命令，主Redis实例收到ping命令后会回复一条pong命令，从而完成心跳检测。
如果在repl-ping-slave-period时间间隔内，从Redis实例没有接收到主Redis实例的pong命令，则会认为主Redis实例已经宕机或者网络异常，触发故障转移操作。
二、应用Redis心跳机制广泛应用于Redis主从复制架构中，保证从Redis实例可以及时的发现主Redis实例的故障情况，并进行相应的故障转移。
通过Redis心跳机制，业务可以更加稳定的运行，提高服务的可靠性和可用性。
同时，Redis心跳机制也可以用于检测网络故障、硬件故障等情况下的节点状态，及时发现并处理异常情况，保证系统的稳定性和可用性。
三、优化在Redis主从复制中，如果repl-ping-slave-period 设置的时间过长，可能会导致从Redis实例过长时间无法获取到主Redis实例的心跳响应，进而触发故障转移操作。
在实际应用中，可以根据不同的业务需求和系统负载情况，在repl-ping-slave-period和repl-timeout配置项之间进行平衡，调整心跳机制的时间间隔和超时时间。
详解Redis数据结构之跳跃表
详解Redis数据结构之跳跃表⽬录1、简介1.1、业务场景1.2、skiplist2、跳表2.1、跳表简介2.2、跳表层级之间的关系2.3、跳表的复杂度3、Redis中的跳表3.1、zskiplistNode3.2、zskiplist1、简介我们先不谈Redis，来看⼀下跳表。
1.1、业务场景场景来⾃⼩灰的算法之旅，我们需要做⼀个拍卖⾏系统，⽤来查阅和出售游戏中的道具，类似于魔兽世界中的拍卖⾏那样，还有以下需求：拍卖⾏拍卖的商品需要⽀持四种排序⽅式，分别是：按价格、按等级、按剩余时间、按出售者ID排序，排序查询要尽可能地快。
还要⽀持输⼊道具名称的精确查询和不输⼊名称的全量查询。
这样的业务场景所需要的数据结构该如何设计呢？拍卖⾏商品列表是线性的，最容易表达线性结构的是数组和链表。
假如⽤有序数组，虽然查找的时候可以使⽤⼆分法（时间复杂度O(logN)），但是插⼊的时间复杂度是O(N)，总体时间复杂度是O(N)；⽽如果要使⽤有序链表，虽然插⼊的时间复杂度是O(1)，但是查找的时间复杂度是O(N)，总体还是O(N)。
那有没有⼀种数据结构，查找时，有⼆分法的效率，插⼊时有链表的简单呢？有的，就是跳表。
1.2、skiplistskiplist，即跳表，⼜称跳跃表，也是⼀种数据结构，⽤于解决算法问题中的查找问题。
⼀般问题中的查找分为两⼤类，⼀种是基于各种平衡术，时间复杂度为O(logN)，⼀种是基于哈希表，时间复杂度O(1)。
但是skiplist⽐较特殊，没有在这⾥⾯2、跳表2.1、跳表简介跳表也是链表的⼀种，是在链表的基础上发展出来的，我们都知道，链表的插⼊和删除只需要改动指针就⾏了，时间复杂度是O(1)，但是插⼊和删除必然伴随着查找，⽽查找需要从头/尾遍历，时间复杂度为O(N)，如下图所⽰是⼀个有序链表（最左侧的灰⾊表⽰⼀个空的头节点）（图⽚来⾃⽹络，以下同）：链表中，每个节点都指向下⼀个节点，想要访问下下个节点，必然要经过下个节点，即⽆法跳过节点访问，假设，现在要查找22，我们要先后查找 3->7->11->19->22，需要五次查找。
redis哈希表结构
redis哈希表结构（实用版）目录1.Redis 哈希表结构的概念2.Redis 哈希表结构的实现原理3.Redis 哈希表结构的优点4.Redis 哈希表结构的应用场景5.Redis 哈希表结构的注意事项正文Redis 哈希表结构是一种基于哈希表的数据结构，它可以将键值对以哈希表的形式存储在内存中。
Redis 哈希表结构在实现上采用了一种特殊的数据结构，即跳跃表（Skip List）。
跳跃表是一种高效的数据结构，能够在保证线性时间复杂度的情况下实现 O(1) 的平均查找性能。
Redis 哈希表结构的实现原理主要包括两个方面：一是哈希函数，用于将键转换为哈希值；二是跳跃表，用于实现高效的键值对查找和插入。
哈希函数的设计需要满足两个条件：一是保证散列后的值尽可能均匀分布，以减少哈希冲突；二是计算简便，降低时间复杂度。
跳跃表则是一种自平衡的数据结构，能够在插入和查找时动态调整节点分布，从而保证高效性能。
Redis 哈希表结构具有以下优点：1.高效的查找性能：平均查找时间复杂度为 O(1)，在实际应用中表现出色。
2.支持高并发：Redis 哈希表结构在内部采用多路哈希，能够有效分散请求，提高系统并发能力。
3.空间利用率高：Redis 哈希表结构采用紧凑存储，能够充分利用内存空间，减少内存浪费。
Redis 哈希表结构的应用场景主要包括：1.用作缓存：Redis 哈希表结构可以高效地实现数据缓存，提高系统的响应速度。
2.计数器：Redis 哈希表结构可以用来实现高并发下的计数器，如网站访问量统计等。
3.消息队列：Redis 哈希表结构可以用作消息队列，实现高性能的消息推送和处理。
在使用 Redis 哈希表结构时，需要注意以下几点：1.哈希冲突：虽然 Redis 哈希表结构采用了多路哈希等技术来减少哈希冲突，但在高并发情况下仍然可能发生。
需要合理选择哈希函数，并根据实际情况进行调整。
2.内存使用：Redis 哈希表结构占用内存较大，需要合理规划内存使用，避免造成系统压力。
Redis中的跳表
Redis中的跳表date: 2020-10-15 14:58:00updated: 2020-10-19 17:58:00Redis中的跳表redis 数据类型 zset 实现有序集合，底层使⽤的数据结构是跳表。
源码在 src/t_zset.c ⽂件中，相关数据结构的定义在 src/server.h ⽂件中。
(4.0版本)元素有序的时候，如果是数组，可以通过⼆分查找来提速；如果是链表，如何提速？ => 跳表，插⼊/删除/搜索都是O(logn)第⼀层索引 n/2 个节点，第⼆层 n/4 个节点，第三层 n/8，第K层 n/(2^k)假设第K层有2个节点，即 n/(2^k) = 2 => k = log2(n) - 1typedef struct zskiplist {// 头节点，尾节点struct zskiplistNode *header, *tail;// 节点数量unsigned long length;// ⽬前表内节点的最⼤层数int level;} zskiplist;typedef struct zskiplistNode {// member 对象robj *obj;// 分值double score;// 后退指针struct zskiplistNode *backward;// 层struct zskiplistLevel {// 前进指针struct zskiplistNode *forward;// 这个层跨越的节点数量unsigned int span;} level[];} zskiplistNode;1. 跳表 SkipList在 java.util.concurrent.ConcurrentSkipListMap/ConcurrentSkipListSet 类中也有实现查询链表时会从头到尾的遍历链表，最坏的时间复杂度是O(N)，这是⼀次⽐较⼀个值，如果跳着1个元素来进⾏⽐较（⽐较下标为2n+1的元素），那么就相当于⼀次性⽐较2个元素，效率就会提⾼ => 跳表跳表是牺牲空间来换取时间，除了最底层是最原始的数据外，其他的每⼀层，其实都相当于是⼀个索引，最理想的是按照第⼀层1级跳，第⼆层2级跳，第三层4级跳，第四层8级跳。
redis跳表查询原理
redis跳表查询原理摘要：一、Redis跳表简介二、Redis跳表查询原理1.跳表结构2.跳跃查找算法3.高效原因三、跳表在Redis中的应用1.有序集合2.范围查询3.高效排序四、Redis跳表优化1.跳跃节点优化2.压缩表项优化3.并发控制优化正文：一、Redis跳表简介Redis跳表（ZipList）是一种基于跳跃查找的数据结构，它可以高效地进行内存中的排序和查找操作。
在Redis中，跳表主要用于实现有序集合（Sorted Set）和高效排序等功能。
二、Redis跳表查询原理1.跳表结构Redis跳表是由多个节点组成的链表，每个节点包含一个关键字和指向下一个节点的指针。
节点按照关键字的大小顺序排列，当查询到一个关键字时，可以通过跳跃查找快速定位到目标节点。
2.跳跃查找算法跳跃查找算法是一种在有序链表中查找目标值的高效方法。
基本原理是每次查询都跳过若干个节点，从而减少查找次数。
在Redis跳表中，跳跃查找算法通过比较节点关键字和目标值来确定跳跃的步长。
3.高效原因Redis跳表之所以高效，主要是因为它采用了跳跃查找算法。
在有序链表中，跳跃查找可以减少不必要的节点比较，提高查找速度。
同时，跳表节点之间的指针跳转也降低了内存访问的成本。
三、跳表在Redis中的应用1.有序集合Redis有序集合（Sorted Set）是基于跳表实现的。
有序集合中的元素具有唯一性，并且可以按照分数（score）进行排序。
通过跳表，我们可以高效地进行范围查询和删除操作。
2.范围查询在有序集合中，我们可以通过跳跃查找快速定位到指定分数范围内的元素。
例如，查询分数在[min, max]范围内的元素，只需从跳表头开始，按照分数顺序遍历节点，直到找到符合条件的元素。
3.高效排序Redis跳表本身已经实现了排序功能，因此在内部实现上，Redis可以根据跳表结构直接进行高效排序。
四、Redis跳表优化1.跳跃节点优化在跳表中，节点之间的距离会影响查找速度。
redis 跳表实现原理
redis 跳表实现原理
Redis跳表是一种有序数据结构，它的实现原理是通过升维的方式，将链表中的每个节点增加一定数量的指针，从而在查找时能够跳过一定数量的节点，从而提高查找效率。
Redis 跳表的实现基于以下两个核心思想：
1. 层级结构。
跳表中的每个节点都有多个指针，指向同一层中的下一个节点，以及下一层中的同一位置的节点。
这样，通过上下跳跃，就可以快速定位到指定位置。
2. 随机化。
Redis 跳表中建立新的层级的概率是根据概率分布来决定的，这样可以保证跳表的平衡性，同时也能够保证跳表的平均时间复杂度为 O(log n)。
具体实现过程如下：
1. 在跳表中插入一个新节点时，需要先确定新节点需要插入的层级数目，方法是通过随机化函数来决定，通常是通过抛硬币的方式，如果是正面就增加层级，如果是反面就停止增加。
2. 然后，从跳表的顶层开始，沿着每一层找到新节点要插入的位置，并将新节点插入到相应的位置上。
3. 在删除节点时，需要遍历跳表中的每一层，找到需要删除的节点，然后将它从每一层中删除。
4. 在查找节点时，也是从跳表的顶层开始进行查找，沿着每一层找到离目标节点最近的节点，然后从该节点开始向下遍历，直到找到目标节点或者确定目标节点不存在。
总体来说，Redis 跳表是一种高效的有序数据结构，在 Redis 中得到广泛的应用。
redis-15zset底层跳表skiplist实现
redis-15zset底层跳表skiplist实现简介 我们知道 Redis 中有五种基本结构，其中有⼀个叫有序列表zset的数据结构，它类似于 Java 中的SortedSet和HashMap的结合体，⼀⽅⾯它是⼀个 set 保证了内部 value 的唯⼀性，另⼀⽅⾯⼜可以给每个 value 赋予⼀个排序的权重值 score，来达到排序的⽬的。
它的内部实现就依赖了⼀个叫做「跳跃列表」的数据结构为什么使⽤跳跃表 因为 zset 要⽀持随机的插⼊和删除，所以它不宜使⽤数组来实现，关于排序问题，我们也很容易就想到红⿊树/平衡树这样的树形结构，为什么 Redis 不使⽤这样⼀些结构呢？1. 性能考虑：在⾼并发的情况下，树形结构需要执⾏⼀些类似于 rebalance 这样的可能涉及整棵树的操作，相对来说跳跃表的变化只涉及局部2. 实现考虑：在复杂度与红⿊树相同的情况下，跳跃表实现起来更简单，看起来也更加直观； 基于以上的⼀些考虑，Redis 基于 William Pugh 的论⽂做出⼀些改进后采⽤了跳跃表这样的结构。
本质是解决查找问题 我们先来看⼀个普通的链表结构： 我们需要这个链表按照 score 值进⾏排序，这也就意味着，当我们需要添加新的元素时，我们需要定位到插⼊点，这样才可以继续保证链表是有序的，通常我们会使⽤⼆分查找法，但⼆分查找是有序数组的，链表没办法进⾏位置定位，我们除了遍历整个链表找到第⼀个⽐给定数据⼤的节点为⽌（时间复杂度 O(n))似乎没有更好的办法。
但假如我们每相邻两个节点之间就增加⼀个指针，让指针指向下⼀个节点，如下图： 这样所有新增的指针连成了⼀个新的链表，但它包含的数据却只有原来的⼀半（如图中的数字：3，11） 现在假设我们想要查找数据时，可以根据这条新的链表查找，如果碰到⽐待查找数据⼤的节点时，再回到原来的链表中进⾏查找，⽐如，我们想要查找 7，查找的路径则是沿着下图中标注出的红⾊指针所指向的⽅向进⾏的： 这是⼀个略微极端的例⼦，但我们仍然可以看到，通过新增加的指针查找，我们不再需要与链表上的每⼀个节点逐⼀进⾏⽐较，这样改进之后需要⽐较的节点数⼤概只有原来的⼀半。
redis的sorted set底层实现原理
redis的sorted set底层实现原理
Redis的Sorted Set底层实现原理
Redis的Sorted Set是一种有序的、可重复的键值对的集合，它的实现原理主要是依赖于它的数据结构——跳跃表（Skip List）。
跳跃表是一种非常有效的、有序的、可变大小的数据结构，它可以用于实现有序集合以及有序的字典。
它被用于构建Redis的有序集合（Sorted Set），实现O（log（N））的插入和遍历性能。
值得一提的是，跳跃表是一种改进的链表，它可以在O（log（N））复杂度内实现对链表中所有元素排序的操作，这对于Redis的Sorted Set而言非常有用。
跳跃表是一种折半搜索的变体，由N个链表组成，每个链表中的节点都包含了一个键值对，同时也包含了指向下一个元素所在链表的指针。
它使用特殊的技巧来加快搜索速度：每个链表都有一个随机的“跳跃”，当搜索时根据这个跳跃值跳过若干个节点，可以加快搜索的速度。
Redis的Sorted Set把这个有序的、可重复的键值对的集合看作一个对象，每一个键值对都有一个相关的分数（score），这个分数决定了集合中元素的排序。
为了实现Sorted Set，Redis会把键值对存放到跳跃表中，这样就可以快速排序，计算出每一个元素在有序集合中的正确位置，以便实现有序性。
因此，Redis的Sorted Set是基于跳跃表实现的，可以高效地维护有序集合，确保其内部元素的有序性，实现在O（log（N））复
杂度内的插入、遍历操作。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
是否设置了Mexmemory参数？------使用OS的vm
Maxmemory的五种基本规则
redis技术实现-----内存不足时策略
maxmemory的五种基本规则
volatile-lru：在使用了过期设置的集合中，尝试删除一个最近没在用的键（LRU）
volatile-random：在使用了过期设置的集合中，随机删除一个键
AOF方式可以一定程度上解决数据不能100%持久化的问题
为了性能考虑，其实也不能保证100%的数据持久化 保证断电或redis重启之后自动重建缓存
Redis会将每一个收到的写命令都通过write函数追加到appendonly.aof文件中 。
当Redis重启时会通过重新执行文件中保存的写命令来在内存中重建整个缓存的内容。
redis技术实现-----持久化对比
相比快照方式，AOF文件体积较大 AOF在恢复大数据集时速度稍逊，但能保证更可靠地备份 AOF可以避免某些误操作---删除所有数据的例子
有大量写入命令式AOF性能可能不及快照
一般建议两者同时使用
redis技术实现-----虚拟内存
Redis虚拟内存
d->ht[0].used / d->ht[0].size > dict_force_resize_ratio
redis技术实现-----hash-table
Hash-table进行扩容步骤如下：
每个hash包含两个hash表， ht[0]和ht[1]，ht[0]用于存储，ht[1]用于扩容 需要扩容时，新的ht[1]的大小是ht[0]的两倍 遍历ht[0]每个节点，进行hash然后与sizemask求与，定位ht[1]的新bucket位置 加入到链表，迁移后ht[0].used–，ht[1].used++ 直到ht[0].used=0，释放ht[0]的table，再赋值ht[0]= ht[1]，再把则ht[1]reset
快照持久化
快照方式是默认方式，可在系统中进行配置快照时机 快照方式是全部缓存数据同步，并非只同步脏数据，所以比较耗时，尤其是 有大量写操作 快照方式不能保证数据100%持久化，突然断电会导致，部分数据丢失 断电之后缓存必须手动重建
redis技术实现-----持久化操作
AOF持久化
redis技术实现-----持久化操作
两种持久化方式：
快照（Snapshotting）
AOF（Append-only file）
redis技术实现-----持久化操作
# after 900 sec (15 min) if at least 1 key changed # after 300 sec (5 min) if at least 10 keys changed # after 60 sec if at least 10000 keys changed save 900 1 save 300 10 save 60 10000
Sorted-set： 排序集合，在set基础上增加了score属性
redis基本概念-----基本操作命令
Key（键） String（字符串） ○DEL ○APPEND ○EXISTS ○BITCOUNT ○EXPIRE ○BITOP ○EXPIREAT ○DECR ○KEYS ○DECRBY ○MIGRATE ○GET ○MOVE ○GETBIT ○PERSIST ○GETRANGE ○PEXPIRE ○GETSET ○PEXPIREAT ○INCR ○PTTL ○INCRBY ○RANDOMKEY ○INCRBYFLOAT ○RENAME ○MGET ○RENAMENX ○MSET ○RESTORE ○MSETNX ○SORT ○PSETEX ○TTL ○SET ○TYPE SortedSet（有序集合） Hash（哈希表） List（列表） ○ZADD ○HDEL ○BLPOP ○ZCARD ○HEXISTS ○BRPOP ○ZCOUNT ○BRPOPLPUSH ○HGET ○ZINCRBY ○HGETALL ○LINDEX ○ZRANGE ○HINCRBY ○LINSERT ○HINCRBYFLOAT ○ZRANGEBYSCORE ○LLEN ○ZRANK ○HKEYS ○LPOP ○ZREM ○HLEN ○LPUSH ○ZREMRANGEBYRANK ○HMGET ○LPUSHX ○ZREMRANGEBYSCORE ○HMSET ○LRANGE ○ZREVRANGE ○HSET ○LREM ○ZREVRANGEBYSCORE ○HSETNX ○LSET ○ZREVRANK ○HVALS ○LTRIM ○ZSCORE ○RPOP ○ZUNIONSTORE ○RPOPLPUSH ○RPUSH ○RPUSHX
redis技术实现-----基本数据结构
List：
使用双向链表实现，按照插入顺序排序 记录链表长度， 每个节点均是String类型 List中可以包含的最大元素数量是4294967295
能够比较容易的实现队列、栈等数据结构 包含阻塞版本的pop操作，避免轮询
redis技术实现-----hash-table
redis基本概念-----各类语言接口
C/C++
C#
Ruby
Java
Jedis（BinaryClient 继承 Connection, 封装了Redis的所有命令）
redis技术实现
基本数据结构实现，Key、String、List实现 Hash-table的实现，冲突解决，扩容
vm-enabled yes vm-swap-file /tmp/redis.swap vm-max-memory 1000000 vm-page-size 32 vm-pages 134217728 vm-max-threads 4 #开启vm功能 #交换出来的value保存的文件路径/tmp/redis.swap #redis使用的最大内存上限 #每个页面的大小32个字节 #最多使用文件页面数 #用于执行value对象换入换出的工作线程数量
redis技术实现-----虚拟内存
数据剔除策略：
精确的公式swappability = age*log(size_in_memory)
仅剔除value，key永远保留在内存中
redis技术实现-----虚拟内存
普通内存可装载的key的数量：
redis技术实现-----key过期时间
redis通过expire命令来设置key的过期时间 （1）在访问时判定key是否过期，如果过期，则进行过期处理 （2）每秒对volatile keys 进行抽样测试，如果有过期键，那 么对所有过期key进行处理
redis技术实现-----内存不足时策略
是否开启虚拟内存？------使用vm
volatile-tt：在使用了过期设置的集合中，尝试删除一个有较短expire时间的键 allkeys-lru：对所有的key，尝试按LRU算法删除一个
allkeys-random：随机删除一个键
noeviction：不设置任何删除规则，直接返回错误
redis技术实现
基本数据结构实现，Key、String、List实现 Hash-table的实现，冲突解决，扩同时机、扩容步骤
Memcached
Key-value存储方式 一张巨大的hash表
Redis
并不代表Redis是Memcached 的升级版和替代品
redis基本概念
Redis是什么：
缓存技术 高性能的key-value存储系统 no-sql数据库
可持久化，提供多种数据结构，多种语言API支持
大量类似事件造成aof文件很大，需要重写aof文件
重写步骤：
1. Redis收到重写aof的命令，创建有父子两个进程 2. 子进程根据内存中的数据库快照，往临时aof文件中写入重建数据库状态的命令
3.父进程继续处理client请求，缓存收到的新命令起来
4.子进程任务完成后，父进程把缓存的新命令也写入到临时文件 5.父进程使用临时文件替换老的aof文件
hash表特别适合用于存储对象，尤其是数目不多的对象
在对象数目较小时使用zipmap存储
redis技术实现-----事务处理
Redis对事物的支持：
存储使用multi、exec命令标志事务的开始和结束 redis> multi
redis> set a 1
redis> set b 2 redis> set c 3
• Redis是一种提供多种数据结构的、开源的、key-value存储系统
redis基本概念
Redis是什么：
缓存技术
redis基本概念-----缓存由来
request
View
response
Control
缓存读写
数据读写
DB
Redis
redis基本概念
针对缓存技术的解决方案
可持久化改进 数据结构改进
事务处理，存在的缺陷
持久化策略
虚拟内存设定，过期数据剔除策略
redis技术实现-----基本数据结构
Key：
存储系统中的键，唯一不重复，指向value 字符串类型 非二进制安全，不能包含特殊字符
String：
最基本数据类型 实质上是byte数组 二进制安全，所以可以是任何文件形式
对关系型数据库和传统缓存技术的补充
redis基本概念-----基本数据结构
Key： 作为value的主键，指向唯一一个存储值