赤峰做企业网站公司,网站主机选择,构建新发展格局,分享音乐到wordpress去哪儿网Redis高并发实战#xff1a;从问题定位到架构升级
在互联网行业竞争日益激烈的当下#xff0c;高并发场景下的系统性能优化一直是技术团队面临的重要挑战。对于去哪儿网这类在线旅游平台来说#xff0c;节假日期间的流量高峰更是对系统架构的严峻考验。本文将深入剖…去哪儿网Redis高并发实战从问题定位到架构升级
在互联网行业竞争日益激烈的当下高并发场景下的系统性能优化一直是技术团队面临的重要挑战。对于去哪儿网这类在线旅游平台来说节假日期间的流量高峰更是对系统架构的严峻考验。本文将深入剖析去哪儿网在五一假期期间针对Redis高并发问题的实战解决方案从问题定位、优化策略到架构升级全方位展现整个优化过程。
一、案例背景五一假期流量峰值挑战
1.1 业务场景
去哪儿网作为国内领先的在线旅游平台提供机票预订、酒店预订、旅游攻略等多种服务。在五一假期这样的旅游旺季平台的业务流量呈现爆发式增长。其中机票搜索、酒店推荐等核心接口的日请求量突破5亿大关支撑这些业务的Redis集群QPS每秒查询率更是达到了惊人的80万。如此庞大的访问量对Redis集群的性能和稳定性提出了极高的要求。
在机票搜索业务中用户频繁查询航线价格日历这使得与价格日历相关的Redis key访问量极为集中酒店推荐接口则需要快速获取酒店的各类信息同样依赖Redis缓存来提升响应速度。Redis作为内存数据库凭借其高性能、高并发的特点成为了去哪儿网缓存数据的首选方案但在极端流量下也暴露出了一系列问题。
1.2 核心问题
随着流量的持续攀升Redis集群出现了严重的性能瓶颈。首先热点航线价格日历key的访问过于集中导致承载这些key的单节点CPU使用率飙升至90%。过高的CPU负载使得该节点处理请求的能力大幅下降不仅影响了自身的响应速度还可能导致整个集群的性能波动。
其次缓存雪崩问题给系统带来了巨大压力。由于大量缓存数据同时过期瞬间产生的大量请求无法从Redis获取数据只能回源到数据库DB。DB回源QPS超过4000远超其正常承载能力接口响应时间也从正常的几十毫秒延长至500ms以上用户体验急剧下降。如果不及时解决这些问题可能会导致用户流失对业务造成严重影响。
二、问题定位与分析
2.1 热点key识别
为了找出导致单节点CPU过高的原因技术团队首先进行了热点key的识别。通过使用redis-cli --bigkeys命令对Redis集群中的key进行扫描分析。该命令能够快速找出占用内存较大的key以及访问频率较高的key。
经过扫描发现像flight:price:calendar:CN-SHA这样与热点航线价格日历相关的key其访问占比超过了30%。这些热点key的集中访问使得负责存储它们的Redis节点负载过重成为了系统性能的瓶颈。
2.2 慢查询分析
除了热点key问题慢查询也是影响Redis性能的重要因素。去哪儿网技术团队开启了Redis的慢查询日志功能对执行时间较长的命令进行分析。分析结果显示大量的HGETALL操作耗时超过10ms而Redis是单线程模型这些耗时较长的操作会阻塞其他请求的执行导致整体响应速度变慢。
HGETALL命令用于获取哈希表中的所有字段和值在实际业务中可能并不需要一次性获取所有数据这种过度的数据获取方式不仅浪费了资源还降低了系统的并发处理能力。
三、优化策略与实施
3.1 热key多副本拆分
针对热点key访问集中的问题去哪儿网采用了热key多副本拆分的策略。以flight:price:calendar:CN-SHA这个热点key为例将其拆分为10个副本分别命名为flight:price:calendar:CN-SHA:0 到 flight:price:calendar:CN-SHA:9。
在客户端访问时通过hash(userId) % 10的方式将用户请求随机分配到这10个副本上。这样一来原本集中在一个节点上的流量就被分散到了10个节点有效降低了单个节点的负载压力。通过这种方式不仅提升了系统的并发处理能力还增强了系统的稳定性。 #mermaid-svg-9ScRlbS7F1uTA1jH {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-9ScRlbS7F1uTA1jH .error-icon{fill:#552222;}#mermaid-svg-9ScRlbS7F1uTA1jH .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-9ScRlbS7F1uTA1jH .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-9ScRlbS7F1uTA1jH .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-9ScRlbS7F1uTA1jH .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-9ScRlbS7F1uTA1jH .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-9ScRlbS7F1uTA1jH .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-9ScRlbS7F1uTA1jH .marker{fill:#333333;stroke:#333333;}#mermaid-svg-9ScRlbS7F1uTA1jH .marker.cross{stroke:#333333;}#mermaid-svg-9ScRlbS7F1uTA1jH svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-9ScRlbS7F1uTA1jH .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-9ScRlbS7F1uTA1jH .cluster-label text{fill:#333;}#mermaid-svg-9ScRlbS7F1uTA1jH .cluster-label span{color:#333;}#mermaid-svg-9ScRlbS7F1uTA1jH .label text,#mermaid-svg-9ScRlbS7F1uTA1jH span{fill:#333;color:#333;}#mermaid-svg-9ScRlbS7F1uTA1jH .node rect,#mermaid-svg-9ScRlbS7F1uTA1jH .node circle,#mermaid-svg-9ScRlbS7F1uTA1jH .node ellipse,#mermaid-svg-9ScRlbS7F1uTA1jH .node polygon,#mermaid-svg-9ScRlbS7F1uTA1jH .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-9ScRlbS7F1uTA1jH .node .label{text-align:center;}#mermaid-svg-9ScRlbS7F1uTA1jH .node.clickable{cursor:pointer;}#mermaid-svg-9ScRlbS7F1uTA1jH .arrowheadPath{fill:#333333;}#mermaid-svg-9ScRlbS7F1uTA1jH .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-9ScRlbS7F1uTA1jH .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-9ScRlbS7F1uTA1jH .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-9ScRlbS7F1uTA1jH .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-9ScRlbS7F1uTA1jH .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-9ScRlbS7F1uTA1jH .cluster text{fill:#333;}#mermaid-svg-9ScRlbS7F1uTA1jH .cluster span{color:#333;}#mermaid-svg-9ScRlbS7F1uTA1jH div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-9ScRlbS7F1uTA1jH :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 客户端请求 计算hash userId % 10 访问flight:price:calendar:CN-SHA:0 访问flight:price:calendar:CN-SHA:1 访问flight:price:calendar:CN-SHA:2 访问flight:price:calendar:CN-SHA:3 访问flight:price:calendar:CN-SHA:4 访问flight:price:calendar:CN-SHA:5 访问flight:price:calendar:CN-SHA:6 访问flight:price:calendar:CN-SHA:7 访问flight:price:calendar:CN-SHA:8 访问flight:price:calendar:CN-SHA:9 3.2 逻辑过期异步刷新
为了解决缓存雪崩问题去哪儿网引入了逻辑过期异步刷新的机制。在缓存数据结构中新增logical_expire_time字段用于记录数据的逻辑过期时间同时将物理TTL生存时间设置为24小时。
当系统检测到logical_expire_time now时并不会立即阻塞请求去更新数据而是触发一个异步任务来刷新数据。在异步任务刷新数据的过程中请求仍然可以获取到旧数据这样就避免了大量请求同时回源到数据库有效防止了缓存雪崩的发生。通过这种方式保证了系统在缓存数据更新过程中的高可用性和稳定性。 #mermaid-svg-RRySdPSmjkeYY7eF {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-RRySdPSmjkeYY7eF .error-icon{fill:#552222;}#mermaid-svg-RRySdPSmjkeYY7eF .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-RRySdPSmjkeYY7eF .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-RRySdPSmjkeYY7eF .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-RRySdPSmjkeYY7eF .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-RRySdPSmjkeYY7eF .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-RRySdPSmjkeYY7eF .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-RRySdPSmjkeYY7eF .marker{fill:#333333;stroke:#333333;}#mermaid-svg-RRySdPSmjkeYY7eF .marker.cross{stroke:#333333;}#mermaid-svg-RRySdPSmjkeYY7eF svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-RRySdPSmjkeYY7eF .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-RRySdPSmjkeYY7eF .cluster-label text{fill:#333;}#mermaid-svg-RRySdPSmjkeYY7eF .cluster-label span{color:#333;}#mermaid-svg-RRySdPSmjkeYY7eF .label text,#mermaid-svg-RRySdPSmjkeYY7eF span{fill:#333;color:#333;}#mermaid-svg-RRySdPSmjkeYY7eF .node rect,#mermaid-svg-RRySdPSmjkeYY7eF .node circle,#mermaid-svg-RRySdPSmjkeYY7eF .node ellipse,#mermaid-svg-RRySdPSmjkeYY7eF .node polygon,#mermaid-svg-RRySdPSmjkeYY7eF .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-RRySdPSmjkeYY7eF .node .label{text-align:center;}#mermaid-svg-RRySdPSmjkeYY7eF .node.clickable{cursor:pointer;}#mermaid-svg-RRySdPSmjkeYY7eF .arrowheadPath{fill:#333333;}#mermaid-svg-RRySdPSmjkeYY7eF .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-RRySdPSmjkeYY7eF .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-RRySdPSmjkeYY7eF .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-RRySdPSmjkeYY7eF .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-RRySdPSmjkeYY7eF .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-RRySdPSmjkeYY7eF .cluster text{fill:#333;}#mermaid-svg-RRySdPSmjkeYY7eF .cluster span{color:#333;}#mermaid-svg-RRySdPSmjkeYY7eF div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-RRySdPSmjkeYY7eF :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 是 否 请求访问缓存 logical_expire_time now? 触发异步任务刷新数据 返回缓存数据 异步获取新数据 更新缓存数据 3.3 本地缓存前置
为了进一步减少对Redis的访问量去哪儿网在客户端引入了本地缓存。选用Caffeine作为本地缓存框架对热门航线数据进行缓存设置TTL为10分钟。Caffeine具有高性能、低内存占用等特点非常适合在客户端使用。
通过引入本地缓存大量对热门航线数据的请求可以直接从本地缓存中获取命中率达到了85%。这不仅减轻了Redis集群的压力还显著提升了接口的响应速度为用户提供了更好的使用体验。 #mermaid-svg-nIxv1rUhtD0MoKgC {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-nIxv1rUhtD0MoKgC .error-icon{fill:#552222;}#mermaid-svg-nIxv1rUhtD0MoKgC .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-nIxv1rUhtD0MoKgC .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-nIxv1rUhtD0MoKgC .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-nIxv1rUhtD0MoKgC .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-nIxv1rUhtD0MoKgC .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-nIxv1rUhtD0MoKgC .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-nIxv1rUhtD0MoKgC .marker{fill:#333333;stroke:#333333;}#mermaid-svg-nIxv1rUhtD0MoKgC .marker.cross{stroke:#333333;}#mermaid-svg-nIxv1rUhtD0MoKgC svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-nIxv1rUhtD0MoKgC .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-nIxv1rUhtD0MoKgC .cluster-label text{fill:#333;}#mermaid-svg-nIxv1rUhtD0MoKgC .cluster-label span{color:#333;}#mermaid-svg-nIxv1rUhtD0MoKgC .label text,#mermaid-svg-nIxv1rUhtD0MoKgC span{fill:#333;color:#333;}#mermaid-svg-nIxv1rUhtD0MoKgC .node rect,#mermaid-svg-nIxv1rUhtD0MoKgC .node circle,#mermaid-svg-nIxv1rUhtD0MoKgC .node ellipse,#mermaid-svg-nIxv1rUhtD0MoKgC .node polygon,#mermaid-svg-nIxv1rUhtD0MoKgC .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-nIxv1rUhtD0MoKgC .node .label{text-align:center;}#mermaid-svg-nIxv1rUhtD0MoKgC .node.clickable{cursor:pointer;}#mermaid-svg-nIxv1rUhtD0MoKgC .arrowheadPath{fill:#333333;}#mermaid-svg-nIxv1rUhtD0MoKgC .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-nIxv1rUhtD0MoKgC .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-nIxv1rUhtD0MoKgC .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-nIxv1rUhtD0MoKgC .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-nIxv1rUhtD0MoKgC .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-nIxv1rUhtD0MoKgC .cluster text{fill:#333;}#mermaid-svg-nIxv1rUhtD0MoKgC .cluster span{color:#333;}#mermaid-svg-nIxv1rUhtD0MoKgC div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-nIxv1rUhtD0MoKgC :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 是 否 客户端请求 本地缓存是否命中? 返回本地缓存数据 访问Redis 获取数据并更新本地缓存 返回数据 四、架构升级与监控完善
4.1 集群拆分
随着业务的不断发展Redis集群中的资源竞争问题日益突出。为了解决这一问题去哪儿网对Redis集群进行了拆分按照业务维度将其拆分为机票、酒店、攻略3个Cluster集群。
通过集群拆分不同业务的数据存储在不同的集群中避免了资源的相互竞争。例如机票业务的流量不会影响到酒店业务的性能每个集群可以根据自身业务的特点进行针对性的优化和扩展。这种架构设计不仅提升了系统的性能还增强了系统的可维护性和扩展性。
4.2 监控体系建设
为了及时发现和解决系统中出现的问题去哪儿网构建了完善的监控体系选用Prometheus作为监控工具。Prometheus能够实时采集和存储Redis集群的各项指标数据并提供强大的查询和告警功能。
监控的关键指标包括QPS、命中率、慢查询数、内存使用率等。通过对这些指标的实时监控技术团队可以及时了解Redis集群的运行状态。同时设置了告警规则当CPU使用率超过80%、命中率低于70%时系统会自动触发告警通知相关人员进行处理。这样一来能够在问题发生的第一时间做出响应保障系统的稳定运行。
4.3 大key治理
大key不仅会占用大量的内存空间还会影响Redis的性能。去哪儿网制定了大key治理方案定期对Redis中的大key进行扫描。对于像粉丝列表等数据量大的key将其拆分为多个子key确保每个key的大小不超过1MB。
通过大key治理减少了内存碎片的产生提高了内存的利用率同时也降低了大key对系统性能的影响进一步提升了Redis集群的整体性能。
五、优化效果对比
经过一系列的优化和架构升级去哪儿网Redis集群的性能得到了显著提升。以下是优化前后各项指标的对比
指标优化前优化后单节点CPU峰值90%35%缓存命中率68%96.5%DB回源QPS4200380接口响应时间320ms65ms
从数据可以看出单节点CPU峰值从90%下降到35%有效解决了热点key导致的CPU过高问题缓存命中率从68%提升到96.5%大幅减少了对数据库的访问DB回源QPS从4200降至380极大减轻了数据库的压力接口响应时间从320ms缩短至65ms显著提升了用户体验。
六、总结与展望
去哪儿网在Redis高并发实战中的优化经验为其他面临类似问题的互联网企业提供了宝贵的参考。通过热点key多副本拆分、逻辑过期异步刷新、本地缓存前置等优化策略以及集群拆分、监控体系建设、大key治理等架构升级措施成功解决了五一假期流量峰值下的性能瓶颈问题。
未来随着业务的持续增长和用户需求的不断变化去哪儿网将继续关注Redis技术的发展探索更多优化方案和架构创新进一步提升系统的性能和稳定性为用户提供更加优质的服务。同时也会将这些实践经验应用到更多的业务场景中推动整个技术团队的能力提升。
