成品网站源码免费分享,网站导购话术,仿我喜欢网站源码免费,企业网站推广形式有这是本人学习的总结#xff0c;主要学习资料如下
马士兵教育rocketMq官方文档 目录 1、消息存储结构1.1、CommitLog详解1.1.1、CommitLog存储的优点 1.2、ConsumeQueue详解1.3、Index详解 2、持久化文件3、过期文件删除机制3.1、判断过期文件3.2、删除的时机 1、消息存储结构…这是本人学习的总结主要学习资料如下
马士兵教育rocketMq官方文档 目录 1、消息存储结构1.1、CommitLog详解1.1.1、CommitLog存储的优点 1.2、ConsumeQueue详解1.3、Index详解 2、持久化文件3、过期文件删除机制3.1、判断过期文件3.2、删除的时机 1、消息存储结构
消息在消息队列中的存储结构如下所示。这三个模块都是文件。默认放在${user.home}/store之下。
首先是左边的CommitLog不管是什么topic所有的消息都是放到这个集合之中。存储着消息的topicmessage等消息的元数据。右上角的是Comsummequeue是逻辑消息队列代表着一个topic底下的一个queue。里面顺序存放着属于这个queue的所有消息。不过这是存放消息的地址和偏移量消息的其他信息还需要到CommitLog中读取。Index则是记录着所有消息的索引。RocketMQ提供通过id或Key来快速查询到一个msg。因为id是由brokerIdoffset构成的所以自然能从commitLog中读取消息。Index中则记录key和offset的映射所以可以通过key快速找到一个msg。 1.1、CommitLog详解
CommitLog采访者消息的所有元信息。每个CommitLog都被本机上的所有queue共享与消息的topic等无关。
消息的存储结构和Redis的压缩列表类似。每个消息的前面存放一些元数据后面放消息的具体内容。这样每个消息的长度是不固定的。
每个CommitLog文件默认是1G。如果消息塞满了一个文件则会生成一个新的并且令其初始偏移量在上一个文件的基础上加10737418241G 1073741824byte。
在写消息时尽管有多个生产者会同时发送消息但永远是一个一个地往CommitLog中写消息。
1.1.1、CommitLog存储的优点
CommitLog 顺序写 可以大大提高写入效率。 实际上磁盘有时候会比你想象的快很多有时候也比你想象的慢很多关键在如何使用使用得当磁盘的速度完全可以匹配上网络的数据传输速度。目前的高性能磁盘顺序写速度可以达到600MB/s 超过了一般网卡的传输速度这是磁盘比想象的快的地方 但是磁盘随机写的速度只有大概lOOKB/s,和顺序写的性能相差 6000 倍。虽然是随机读但是利用操作系统的 pagecache 机制可以批量地从磁盘读取作为 cache 存到内存中加速后续的读取速度。为了保证完全的顺序写需要ConsumeQueue这个中间结构 因为ConsumeQueue 里只存偏移量信息所以尺寸是有限的在实际情况中大部分的 ConsumeQueue能够被全部读入内存所以这个中间结构的操作速度很快可以认为是内存读取的速度。此外为了保证 CommitLog和ConsumeQueue的一致性 CommitLog 里存储了 Consume Queues、Message Key、 Tag 等所有信息即使 ConsumeQueue 丢失也可以通过CommitLog 完全恢复出来。 1.2、ConsumeQueue详解
ComsumeQueue是一个逻辑队列代表了一个topic下的一个queue。它里面只存储消息的索引不存具体的信息具体的消息信息要到CommitLog中寻找。
下面是具体存储结构。
1.3、Index详解
RocketMQ提供通过id或Key来快速查询到一个msg。因为id是由brokerIdoffset构成的所以自然能从commitLog中读取消息。Index中则记录key和offset的映射所以可以通过key快速找到一个msg。
2、持久化文件
RocketMQ的持久化文件默认会放到${user.home}/store目录下也可以在broker.conf中配置storePathRootDir修改路径。
一般有下面这几个文件。
commitlog: 消息存储的元数据config运行期间的一些配置信息。consumerqueue消息消费对了存储目录。index消息索引文件存储目录。abort如果存在该文件则表示MQ是非正常关闭的。checkPoint文件检查点存储着commitlogconsumerqueue和index文件最后一次刷盘时间戳。 3、过期文件删除机制
3.1、判断过期文件
RocketMQ的持久化文件不会永远存在每隔一段时间就会清理掉一部分。主要是删除CommitLog和ConsumeQueue这两个文件。
在RocketMQ中一段时间内没更新的文件就被视为过期文件不管里面的消息是不是全都被消费了。
默认是42小时没有更新就删除默认时间根据版本的不同而不同这个也是可以在broker.config中配置的fileReserveTime。
删除文件是由定时任务做的默认10s扫描一次。
判断是否要删除过期文件的机制总共和下面这几个个参数有关
fileReserveTime单位小时超过这个时间没更新的文件就是过期文件。destroyMapedFileIntervalForcibly当清理线程准备删除一个文件时如果这个文件还被其他线程引用取消这次删除操作并记录当前时间。destroyMapedFileIntervalForcibly表示在一段时间内单位是ms会一直保留这个文件。超过这个时间以后每次清理线程发现这个文件就会减少1000个对该文件的引用直到引用数变成0删除该文件。
3.2、删除的时机
默认是10秒一次扫描但是有下面的特殊情况也会触发扫描。
deleteWhen将扫描时间固定成一天当中的某个时刻执行一次比如凌晨4点。DiskSpaceCleanForciblyRatio默认值85。表示磁盘空间使用率达到85%以后就会立刻启动过期文件删除机制。
