湛江建网站,深圳最便宜的物流公司,工作室注册,网站建设维护与推广NoSQL之redis配置与优化 高可用持久化功能Redis提供两种方式进行持久化1.触发条件手动触发自动触发 执行流程优缺点缺点#xff1a;优势AOF出发规则#xff1a; AOF流程AOF缺陷和优点 NoSQL之redis配置与优化 mysql优化
1线程池优化
2硬件优化
3索引优化
4慢查询优化
5内… NoSQL之redis配置与优化 高可用持久化功能Redis提供两种方式进行持久化1.触发条件手动触发自动触发 执行流程优缺点缺点优势AOF出发规则 AOF流程AOF缺陷和优点 NoSQL之redis配置与优化 mysql优化
1线程池优化
2硬件优化
3索引优化
4慢查询优化
5内存优化
6连接数优化超时时间用的最多
7分库分表
8存储过程
存储过程在运行整个存储时在内
mysql超过连接数连接超时
主从复制优化mha高可用面试问的最多其次时sql语句面试
cdn 缓存 或 代理
squid
20万并发怎么解决
高可用
1.持久化 aof rdb工作流程存储数据过程 1.持久化是最简单的高可用方法(有时甚至不被归为高可用的手段)主要作用是数据备份即将数据存储在硬盘保证数据不会因进程退出而丢失. 2.主从复制 主从复制是高可用Redis的基础哨兵和集群都是在主从复制基础上实现高可用的。主从复制实现了数据的多机备份以及对于读操作的负载均衡 3.哨兵 在主从复制的基础上哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制。Ccluster集群:通过集群Redis解决了写操作无法负载均衡以及存储能力受到单机限制的问题实现了较为完善的高可用方案。 单机只能保存在自己那 4.集群 通过集群Redis解决了写操作无法负载均衡以及存储能力受到单机限制的问题实现了较为完善的高可用方案。
5.redis优化 雪崩 穿透
持久化功能
redis是内存数据库数据都是存储在内存中为了避免服务器断电等原因导致redis进程异常退出后数据的永久丢失需要定期将redis中的数据以某种形式数据或命令从内存保存到硬盘当下次redis重启时利用持久化文件实现数据恢复。除此之外为了进行灾难备份可以将持久化文件拷贝到一个远程位置。
Redis提供两种方式进行持久化
RDB持久化:原理是将redis在内存中数据记录定时保存到磁盘上
AOF持久化:原理是将Redis的操作日志以追加的方式写入文件类似于MySQL的binlog
RDB持久化是指在指定的时间间隔内将内存中当前进程中的数据生成快照保存到硬盘因此也称快照持久化用二进制压缩存储保存的文件后缀是rdb当redis重新启动时可以读取快照文件恢复数据。
1.触发条件
RDB持久化的触发分为手动触发和自动触发两种
手动触发
save命令和bgsave命令都可以生成RDB文件
save命令会阻塞redis服务器进程知道rdb文件创建完毕为止在redis服务器阻塞期间服务器不能处理任何命令请求
而bgsave命令会创建一个子进程由子进程来负责创建rdb文件父进程即redis主进程则继续处理请求。
bgsave命令执行过程中只有fork子进程会阻塞服务器而对于save命令整个过程都会阻塞服务器因此save已基本被废弃线上环境要杜绝save的使用。
自动触发
在自动触发RDB持久化时redis也会选择bgsave而不是save来进行持久化
重点
执行流程
rdb (1) Redis父进程首先判断:当前是否在执行save或bgsave/bgrewriteaof的子进程如果在执行则bgsave命令直接返回。 bgsave/bgrewriteaof的子进程不能同时执行主要是基于性能方面的考虑:两个并发的子进程同时执行大量的磁盘写操作可能引起严重的性能问题。 (2父进程执行fork操作创建子进程这个过程中父进程是阻塞的Redis不能执行来自客户端的任何命令 (3)父进程fork后bgsave命令返回Background saving started信息并不再阻塞父进程并可以响应其他命令(4子进程创建RDB文件根据父进程内存快照生成临时快照文件完成后对原有文件进行原子替换 (5子进程发送信号给父进程表示完成父进程更新统计信息 3.启动时加载 RDB文件的载入工作是在服务器启动时自动执行的并没有专门的命令。但是由于AOF的优先级更高因此当AOF开启时Bedis会优先载入 AOF文件来恢复数据:只有当AoF关闭时才会在Redis服务器启动时检测RDB文件并自动载入。服务器载入RB文件期间处于阻塞状态,直到载入完成为止。 Redis载入RDB文件时会对RDB文件进行校验如果文件损坏则日志中会打印错误Redis启动失败。
优缺点
缺点
1.数据完整性不如aof
2.rdb类似于快照完备
占用大量磁盘空间
3.在进行备份时会阻塞进程
优势
1.持久化速度快因为保存的数据结果再写入到*.rdb持久化文件会进行压缩来减小自身的体积
2.集群中redis主从复制从–》主服务器进行同步默认先使用rdb文件进行恢复操作同步性能较高
redis默认开启RDB关闭AOF要开启AOF需要配置文件中配置 如果没有其他子进程父进程就会fork子进程fork过程中父进程阻塞子进程创建好会信息通知父进程继续响应其他的命令
redis会将写入命令存在缓冲区里面根据fsnc策略同步到硬盘里面 appendfsync always: 命令写入aof_buf后立即调用系统fsync操作同步到AOF文件fsync完成后线程返回。这种情况下每次有写命令都要同步到AOF文件硬盘Io成为性能瓶颈Redis只能支持大约几百TPs写入严重降低了Redis的性能:即便是使用固态硬盘S$D)每秒大约也只能处理几万个命令而且会大大降低ssD的寿命。 appendfsync no: 命令写入aof_buf后调用系统write操作不对AoF文件做fsync同步:同步由操作系统负责通常同步周期为30秒。这种情况下文件同步的时间不可控且缓冲区中堆积的数据会很多数据安全性无法保证。 appendfsync everysec: 命令写入aof_buf后调用系统write操作write完成后线程返回; fsync同步文件操作由专门的线程每秒调用一次。everysec是前述两种策略的折中是性能和数据安全性的平衡因此是Redis的默认配置也是我们推荐的配置。 (3)文件重写(rewrite) 随着时间流逝Redis服务器执行的写命令越来越多AoF文件也会越来越大:过大的AoF文件不仅会影响服务器的正常运行也会导致数据恢复需要的时间过长。
AOF根据redis操作日志的记录持续将日志中的执行操作保存在磁盘中
AOF出发规则
常用触发规则
1.always 一直触发AOF的持久化
2.every second 每秒触发一次持久化
3.no 不进行持久化
出现在1s内执行20条语句
1.always:每执行一条语句就触发一次aof持久化
2.every:每秒触发执行一次aof持久化操作
3.no:从不进行持久化
redis流程内部数据流向
AOF流程 AOF缺陷和优点
缺陷
1.执行语句一直情况下AOF备份内容更大
RDB备份内容较小
RDB备份的是结果
RDB备份的是语句
2.AOF消耗的性能更大占用磁盘越来越大
可以理解为mysql的增备
优势
1.AOF的数据完整性比RDB高
2.重写功能 会对无效语句 进行删除目的就是为了节省AOF文件占用磁盘的空间
