收录查询 站长工具,河北招投标网招标公告,网页设计实训内容步骤记录,cpa网站怎么做Redis线程IO模型
Redis是单线程#xff0c;这个毋庸置疑Redis单线程能做到这么高的效率#xff1f;不用怀疑#xff0c;还有很多其他的服务都是单线程但是也有超高的效率#xff0c;比如Node.js#xff0c;Nginx也是单线程。Redis单线程高效原因#xff1a; Redis所有数…Redis线程IO模型
Redis是单线程这个毋庸置疑Redis单线程能做到这么高的效率不用怀疑还有很多其他的服务都是单线程但是也有超高的效率比如Node.jsNginx也是单线程。Redis单线程高效原因 Redis所有数据都存储在内存中所有运算都是内存级别的运算正是因为Redis是单线程所有要小心使用我们业务中可能会有一些耗时的操作keys死亡命令时间复杂度O(n)这种一定要谨慎使用会造成Redis卡顿 Redis单线程如何处理这么多客户端的并发连接 多路复用解决此问题利用操作系统底层的select系列事件轮询API非阻塞IO的形式就是java中NIO的理念同样可以在Redis中复用
非阻塞IO
当我们通过套接字socket利用网络协议进行数据交换读写的时候默认是阻塞的状态比如read方法要传递进去一个参数n标识最多读取n个字节后在返回如果一个字节都没有线程就会卡主直到新的数据到来或者连接关闭read方法才可以返回线程才能继续处理其他的事务。Write方法一般不阻塞除非内核为套接字分配的缓冲区已经满write方法会阻塞直到缓冲区空闲在将剩下的写入如下是redis中socket读写的一个流程。 非阻塞IO在套接字对象上提供了一个选项Non_blocking当这个选项打开时候读写方法不会阻塞而是能读多少读多少能写多少写多少。能读多少取决于内核为套接字分配的读缓冲区内部的数据字节数。写多少取决于内核为套接字分配的写缓冲区空闲空间字节数。读方法和写方法都会通过返回值来告知程序实际读写了多少字节有了非阻塞IO意味着线程无在IO操作时无需阻塞可以瞬间完成然后继续别的事件
事件轮询多路复用
上文中提到的线程读取数据时候并不是一次性读完而是取决于缓冲区大小读取了一部分就返回那么线程如何知道什么时候才继续读也就是当数据来了线程如何得到通知。写也是一样如果缓冲区满写不完剩下的数据什么时候才继续写线程也需要得到通知。事件轮询API就是用来解决这个问题。最简单的时间轮询API是select函数。操作系统级别的API。 输入是读写描述符列表read_fdswrite_fds输出是与之对应的可读写事件还提供了timeout参数没有事件需要执行的时候最多等待timeout时间线程处于阻塞状态一旦期间有任何事件到来就可以返回。时间过了之后没有任何事件到来也立刻返回 例如RedisClient执行一个 查询命令client通过socket在select上注册一个read_fds其他客户端的任何操作也是想select中注册事件这个时间按定时任务执行当轮到你执行的时候才执行你的socket事件。如下图 每个套接字socket都有对应的读写文件描述符伪代码描述如下
read_events, write_events select(read_fds, write_fds, timeout);
for event in read_events:handle_read(event.fd);
for event in write_events:handle_write(event.fd);
handle_others() //处理其他事件指令队列
Redis为每个客户端套接字关联一个指令队列。客户端指令通过队列排队进行顺序处理先到先服务。
响应队列
同样Redis也为每个客户端套接字关联一个响应队列。Redis服务器通过响应队列来将指令结果回复给客户端。如果队列空则空闲此时可以将当前客户端描述符从write_fds里面移除。等队列有数据在将描述符放入避免select系统调用立刻返回写时间结果发现没有数据可以写空耗CPU资源
定时任务
上文中socket注册时间流程中定时任务是关键的一环服务器除了处理IO操作以外还有定时任务。Redis的定时任务用来记录需要执行的任务这些数据被记录在一个被称为“最小堆”的数据结构中。这个堆中最快执行的在最上方。每个循环周期中Redis服务器端都会对最小堆中已经到实际点的任务进行处理并将下一个要执行的任务还需要的时间记录下来此处的时间就是我们注册时间到select中的socket的timeout。因为Redis知道未来timeout时间内是没有任务所有可以休眠timeout时间。
通信协议
Redis序列化方法RESPRedis Serialization Protocol。一种直观的文本协议优势在于简单直观易于实现解析性能极好Redis的高效性的原因之一。Redis协议将传输结构分为五种单元类型每种类型结束都加上回车换行\r\n。 单行字符串以“”符合开头多行字符串以“$”符号开头后跟字符串长度整数以“”开头后面跟整数字符串的形式错误信息以“-”开头。数组以“*”开头后面跟数组长度 一下示例
//单行字符串 hello world
hello world\r\n
//多行字符串hello world
$11\r\nhello world\r\n
//整数1024
:1024\r\n
//错误信息
-WRONGTYPE Operation against a key holding the wrong kind of value\r\n
//数组[1,2,3]
*3\r\b:1\r\n:2\r\n:3
//NULL
$-1\r\n
//空串
$0\r\n\r\n客户端到服务器通信
客户端向服务器发送指令只有一种格式多行字符串数组。比如一个简单的set指令set myList addfirst会被序列化如下格式
*3\r\n$3\r\nset\r\n$6\r\nmyList\r\n$8\r\naddfirst\r\n控制台输出这个字符串如下可以看出来是一个很容易理解的格式
*3
$3
set
$6
myList
$8
addfirst服务器到客户端
服务器向客户端回复响应信息要支持多种数据结构所以消息响应在结构上要复杂一点不过还是基于上文中的规则。
//单行字符串响应
docker-redis:0set myList addfirst
OK
//OK是单行响应没有使用引号括起来
OK//错误响应
新docker-redis:0incr myList
ERR value is not an integer or out of range
//对字符串自增报错返回如下
-ERR value is not an integer or out of range//整数响应
新docker-redis:0incr books
1
//此处1是整数
:1//多行字符串响应
新docker-redis:0get myList
addfirst
//此处有引号是多行响应
$8
addfirst//数组响应
新docker-redis:0hset myMap name liaojiamin
1
新docker-redis:0hset myMap age 28
1
新docker-redis:0hgetall myMap1) name2) liao3) age4) 28//hgetall返回一个数组第1,3 是key 2,4 是value客户端负责将数组组装成字典放回格式如下*4$4name$4liao$3age$228//嵌套方式
新docker-redis:0scan 01) 23592962) 1) Phone2) nettyim3) 1027
//用sca扫描以游标形式获取第一个标识游标值第二个标识当前游标下的数据返回的数组格式数组的2个元素存储的数组数组第二个元素还是数组三个元素
*2
$1
0
*3
$5
phone
$7
nettyim
$4
1027小结 Redis协议中大量冗余的回车换行但是不影响性能Redis的序列化协议还是互联网技术领域非常受欢迎的文本协议。技术上性能的确重要但是同时兼具简单易用易实现这些都是需要权衡。
上一篇Redis高效性探索–管道
