鞍山58同城租房网,seo石家庄,六安网站建设六安,app软件制作文章目录 9.一篇文章看懂Redis持久化机制9.1Redis的两种持久化机制9.1.1为什么有持久化#xff1f; 9.2RDB机制9.2.1介绍9.2.2触发机制#xff08;1#xff09;save命令触发#xff08;2#xff09;bgsave命令触发#xff08;3#xff09;自动触发 9.2.3执行流程9.2.4优… 文章目录 9.一篇文章看懂Redis持久化机制9.1Redis的两种持久化机制9.1.1为什么有持久化 9.2RDB机制9.2.1介绍9.2.2触发机制1save命令触发2bgsave命令触发3自动触发 9.2.3执行流程9.2.4优点9.2.5缺点 9.3AOF机制9.3.1介绍9.3.2rewrite机制9.3.3触发机制9.3.4优点9.3.5缺点 9.4Redis4.0的混合持久化9.5RDB与AOF对比 9.一篇文章看懂Redis持久化机制
9.1Redis的两种持久化机制
9.1.1为什么有持久化
由于Redis的数据都存放在内存中如果没有配置持久化redis重启后数据就全丢失了于是需要开启redis的持久化功能将数据保存到磁盘上当redis重启后可以从磁盘中恢复数据。
Redis提供两种持久化方式RDBRedis DataBase缩写快照和AOFAppend Only File
第一种是RDB快照第二种是AOF日志。 RDB RDB快照是一次全量备份快照是内存数据的二进制序列化形式在存储上非常紧凑 AOF AOF是连续的增量备份。AOF 日志记录的是内存数据修改的指令记录文本。
9.2RDB机制
9.2.1介绍
RDB快照就是把数据以快照的形式保存在磁盘上是某个时间点的一次全量数据备份以二进制序列化形式的文件存储并且在存储上非常紧密。RDB持久化是指在指定的时间间隔内将内存中的数据集以快照的方式写入磁盘并保存到一个名为dump.rdb的二进制文件中也是默认的持久化方式它恢复时是将快照文件从磁盘直接读到内存里。
9.2.2触发机制
RDB来说持久化触发机制有三种save、bgsave、自动化触发
1save命令触发
该命令会阻塞当前Redis服务器执行save命令期间Redis不能处理其他命令直到RDB完成为止如果数据量大的话会造成长时间的阻塞所以线上环境一般禁止使用。
执行该命令时Redis会在后台异步进行快照操作快照同时还可以响应客户端请求。具体流程如下
2bgsave命令触发
执行bgsave命令时Redis主进程会fork一个子进程来完成RDB的过程会先将数据写入到一个临时二进制文件中待持久化过程都结束了再用这个临时文件替换上次持久化好的文件可以理解为Copy On Write机制。Redis主进程阻塞时间只有fork阶段的那一下。相对于save阻塞时间很短。基本上 Redis 内部所有的RDB操作都是采用 bgsave 命令。 ps fork的作用是复制一个与当前进程一样的进程。新进程的所有数据变量、环境变量、程序计数器等数值都和原进程一致但是是一个全新的进程并作为原进程的子进程。 3自动触发
自动触发是可以在redis.conf配置文件中修改默认达到 以下三种条件就会自动触发持久化触发后底层调用的其实还有bgsave命令 举例1分钟内改了1万次5分钟内改了10次或15分钟内改了1次。 save 900 1 #在900秒(15分钟)之后如果至少有1个key发生变化则dump内存快照。save 300 10 #在300秒(5分钟)之后如果至少有10个key发生变化则dump内存快照。save 60 10000 #在60秒(1分钟)之后如果至少有10000个key发生变化则dump内存快照。 如果不需要持久化机制则可以注释掉所有的save命令
9.2.3执行流程
执行bgsave命令的时候Redis主进程会检查是否有子进程在执行RDB/AOF持久化任务如果有的话直接返回主要是为了性能的考虑防止两个进程同时对磁盘进行写入操作Redis主进程fork一个子进程来执行执行RDB操作fork操作会对主进程造成阻塞影响Redis的读写fork操作完成后会发消息给主进程从而不再阻塞主进程阻塞仅指主进程fork子进程的过程后续子进程执行操作时不会阻塞RDB子进程把Redis主进程的内存数据写入到一个临时的快照文件持久化完成后再使用临时快照文件替换掉原来的RDB文件。该过程中主进程的读写不受影响但Redis的写操作不会同步到主进程的主内存中而是会写到一个临时的内存区域作为一个副本子进程完成RDB持久化后会发消息给主进程通知RDB持久化完成并将步骤3中的内存副本中的增量写数据同步到主内存
9.2.4优点 RDB文件紧凑全量备份非常 适合用于进行备份和灾难恢复。 对于大规模数据的恢复且对于数据恢复的完整性不是非常敏感的场景RDB的恢复速度要比AOF方式更加的高效。 生成RDB文件的时候redis主进程会fork()一个子进程来处理所有保存工作主进程不需要进行任何磁盘IO操作。
9.2.5缺点
fork的时候内存中的数据被克隆了一份大致2倍的膨胀性需要考虑。当进行快照持久化时会开启一个子进程专门负责快照持久化子进程会拥有父进程的内存数据父进程修改内存子进程不会反应出来所以在快照持久化期间修改的数据不会被保存可能丢失数据。在一定间隔时间做一次备份所以如果redis意外down掉的话就会丢失最后一次快照后的所有修改。
9.3AOF机制
9.3.1介绍
每次都使用RDB机制全量备份的方式是非常耗时间的因此Redis还提供了另一种持久化机制 AOFappend only file。AOF日志是持续增量的备份将Redis执行过的每个 写操作以日志的形式记录下来 (读操作不记录)只许追加文件但不可以改写文件(appendonly.aof文件)。
redis启动的时候会读取该文件进行数据恢复根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。
9.3.2rewrite机制
因为AOF采用文件追加方式文件会越来越大为避免出现此种情况需要 定期进行AOF重写当AOF文件的大小超过所设定的阈值时Redis就会对AOF文件的内容压缩只保留可以恢复数据的最小指令集。redis提供了bgrewriteaof命令fork一个新的进程对aof文件进行重写。重写原理AOF文件持续增长而过大时会fork出一条新进程来重写aof文件将内存中的整个数据库内容用命令的方式重写了一个新的aof文件注意在重写时并不是读取旧的aof文件在执行 BGREWRITEAOF 命令时Redis 服务器会维护一个 AOF 重写缓冲区该缓冲区会在子进程创建新AOF文件期间记录服务器执行的所有写命令。当子进程完成创建新AOF文件的工作之后服务器会将重写缓冲区中的所有内容追加到新AOF文件的末尾使得新旧两个AOF文件所保存的数据库状态一致。最后服务器用新的AOF文件替换旧的AOF文件以此来完成AOF文件重写操作。触发时机Redis会记录上次重写时的AOF大小默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发。
9.3.3触发机制
每修改同步appendfsync always 同步持久化每次发生数据变更会被立即记录到磁盘性能较差但数据完整性比较好。每秒同步appendfsync everysec 异步操作每秒记录如果一秒内宕机有数据丢失。不同步appendfsync no 从不同步
9.3.4优点
数据安全AOF持久化可以配置 appendfsync 属性有always属性每进行一次命令操作就记录到AOF文件中一次通过append模式写文件即使中途服务器宕机 可以通过 redis-check-aof 工具解决数据一致性问题AOF机制的rewrite模式。AOF文件没被 rewrite 之前文件过大时会对命令 进行合并重写可以删除其中的某些命令比如误操作的 flushall
9.3.5缺点
AOF文件比RDB文件大且恢复速度慢数据集大的时候比RDB启动效率低
注如果同时开启两种持久化方式在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。
9.4Redis4.0的混合持久化
仅使用 RDB快照方式恢复数据由于快照时间粒度较大时会丢失大量数据。仅使用 AOF重放方式 恢复数据日志性能相对 rdb 来说要慢。在 Redis 实例很大的情况下启动需要花费很长的时间。
为了解决这个问题Redis4.0开始支持RDB和AOF的混合持久化默认关闭可以通过配置项 aof-use-rdb-preamble 开启。RDB 文件的内容和增量的 AOF 日志文件存在一起这里的 AOF 日志不再是全量的日志而是自持久化开始到持久化结束的这段时间发生的增量 AOF 日志通常这部分 AOF 日志很小
大量数据使用粗粒度时间上的rdb快照方式性能高恢复时间快。增量数据使用细粒度时间上的AOF日志方式尽量保证数据的不丢失。
在Redis重启时进行AOF重写的时候就直接把RDB的内容写到 AOF 文件开头。这样做的好处是可以结合 RDB和 AOF 的优点快速加载同时避免丢失过多的数据。当然缺点也是有的 AOF 里面的 RDB 部分是压缩格式不再是AOF 格式可读性较差。
另外可以使用下面这种方式Master使用AOFSlave使用RDB快照master需要首先确保数据完整性它作为数据备份的第一选择slave提供只读服务或仅作为备机它的主要目的就是快速响应客户端read请求或灾切换。
9.5RDB与AOF对比
AOF文件比RDB更新频率高优先使用AOF还原数据AOF比RDB更安全也更大RDB性能比AOF好如果两个都配了优先加载AOF
