免费域名注册服务网站,网站设计案例公司,网站技术培训,代码交易网站文章目录 常见面试题布隆过滤器原理和数据结构#xff1a;特点和应用场景#xff1a;缺点和注意事项#xff1a;在python中使用布隆过滤器 三种数据删除策略LRU (Least Recently Used)工作原理#xff1a;应用场景#xff1a; LFU (Least Frequently Used)工作原理#x… 文章目录 常见面试题布隆过滤器原理和数据结构特点和应用场景缺点和注意事项在python中使用布隆过滤器 三种数据删除策略LRU (Least Recently Used)工作原理应用场景 LFU (Least Frequently Used)工作原理应用场景 TTL (Time To Live)工作原理应用场景 LRU (Least Recently Used)LFU (Least Frequently Used)TTL (Time To Live) 哈希槽详细介绍使用场景 分布式锁工作原理特点和注意事项使用场景 缓存穿透缓存雪崩缓存击穿如何保证缓存和数据库的数据一致性 常见面试题 什么是Redis Redis是一个开源的内存中数据结构存储它支持多种数据结构如字符串、哈希、列表、集合、有序集合等并提供了持久化、复制、高可用等功能。 Redis的特点是什么 内存中存储数据存储在内存中因此读写速度非常快。数据结构丰富支持多种数据结构。持久化支持RDB快照和AOF日志两种持久化方式。高可用通过主从复制和哨兵或集群实现高可用性。分布式支持分片来扩展数据集大小。 Redis支持哪些数据结构 字符串String哈希Hash列表List集合Set有序集合Sorted Set 什么是Redis的持久化 持久化是指将数据保存到磁盘上以便在Redis重启时恢复数据。Redis提供了两种持久化方式RDBRedis Database快照和AOFAppend Only File日志。 Redis的主从复制是什么 主从复制是指将一个Redis服务器的数据复制到多个其他Redis服务器其中一个为主服务器master其余为从服务器slave。从服务器会持续从主服务器同步数据以实现数据备份和读取负载均衡。 Redis的集群是什么 Redis集群是多个Redis实例的组合通过分片的方式存储数据以提高数据集的大小和吞吐量。 如何保证Redis的高可用性 使用主从复制和哨兵机制来监控主服务器的状态并在主服务器宕机时自动切换到备用主服务器。使用Redis集群来实现数据分片和自动故障转移。 Redis和Memcached有什么区别 Redis支持更多的数据结构如哈希、列表、集合、有序集合等而Memcached只支持简单的键值对。Redis支持持久化而Memcached不支持。Redis支持主从复制和集群而Memcached不支持。 Redis的数据淘汰策略有哪些 LRULeast Recently Used删除最近最少使用的数据。LFULeast Frequently Used删除最不经常使用的数据。TTLTime To Live设置键的生存时间过期后自动删除。 如何使用Redis实现分布式锁 使用SETNXSET if Not eXists命令来设置锁如果键不存在则设置成功否则失败。使用EXPIRE命令为锁设置过期时间防止锁被长时间占用。释放锁时使用DEL命令删除键。 Redis的事务支持是怎样的 Redis事务通过MULTI、EXEC、DISCARD和WATCH命令实现它可以确保一系列命令的原子性执行。 Redis的发布订阅功能是如何工作的 Redis的发布订阅功能允许客户端订阅频道当有消息发布到频道时订阅者会收到消息。 如何使用Lua脚本在Redis中实现原子性操作 Redis通过EVAL命令执行Lua脚本可以在脚本中实现复杂的原子性操作。 Redis支持哪些客户端 Redis支持多种客户端包括官方提供的Redis-cli、JedisJava、redis-pyPython、hiredisC等。 Redis的持久化机制对性能有什么影响 RDB持久化机制会在指定的时间间隔生成快照文件可能会影响Redis的性能。AOF持久化机制会在每个写操作后追加到文件中可能会影响写入性能。 如何优化Redis的性能 使用合适的数据结构。合理设置缓存失效时间。使用批量操作。使用Pipeline减少网络开销。使用连接池减少连接开销。 Redis集群的工作原理是怎样的 Redis集群通过分片的方式将数据分布到多个节点上并通过Gossip协议进行节点间通信和数据同步。 Redis的事件驱动模型是怎样的 Redis使用epoll或kqueue等事件驱动模型来处理网络事件以提高性能和吞吐量。 Redis如何处理并发访问 Redis是单线程的但通过事件驱动模型和非阻塞IO来处理并发访问保证了高并发的性能。 如何在Redis中实现分布式锁的可重入性 可以使用Redlock算法来实现分布式锁的可重入性它通过在锁的value中存储锁的持有者和持有次数来实现。 如何防止Redis的缓存击穿 可以使用布隆过滤器来过滤不存在的键。可以设置热门数据的永久有效期避免热数据过期后频繁重建。 Redis的AOF持久化和RDB持久化的优缺点是什么 AOF持久化提供了更好的数据安全性但文件体积较大恢复速度较慢。RDB持久化文件体积较小恢复速度较快但可能会丢失最后一次持久化后的数据。 Redis的集群模式下如何进行故障转移 当主节点故障时Redis集群会选举一个新的主节点来接替然后从已有的从节点中选出一个节点作为新的主节点。 Redis的缓存穿透问题如何解决 可以使用布隆过滤器来过滤无效的请求。可以设置空值缓存避免频繁查询不存在的键。 Redis的内存淘汰策略有哪些 LFULeast Frequently Used删除最不经常使用的数据。LRULeast Recently Used删除最近最少使用的数据。Random随机淘汰随机删除数据。 Pipeline 有什么好处为什么要用 Pipeline 可以将多次 IO 往返的时间缩减为一次前提是 Pipeline 执行的指令之间没有因果相关性。使用 redis-benchmark 进行压测的时候可以发现影响 Redis 的 QPS 峰值的一个重要因素是 Pipeline 批次指令的数目。 MySQL 里有 2000w 数据Redis 中只存 20w 的数据如何保证 Redis 中的数据都是热点数据
Redis 内存数据集大小上升到一定大小的时候就会施行数据淘汰策略。
相关知识Redis 提供 6 种数据淘汰策略volatile-lru从已设置过期时间的数据集server.db[i].expires中挑选最近最少使用的数据淘汰volatile-ttl从已设置过期时间的数据集server.db[i].expires中挑选将要过期的数据淘汰volatile-random从已设置过期时间的数据集server.db[i].expires中任意选择数据淘汰allkeys-lru从数据集server.db[i].dict中挑选最近最少使用的数据淘汰allkeys-random从数据集server.db[i].dict中任意选择数据淘汰no-enviction驱逐禁止驱逐数据文章目录 常见面试题布隆过滤器原理和数据结构特点和应用场景缺点和注意事项在python中使用布隆过滤器 三种数据删除策略LRU (Least Recently Used)工作原理应用场景 LFU (Least Frequently Used)工作原理应用场景 TTL (Time To Live)工作原理应用场景 LRU (Least Recently Used)LFU (Least Frequently Used)TTL (Time To Live) 哈希槽详细介绍使用场景 分布式锁工作原理特点和注意事项使用场景 缓存穿透缓存雪崩缓存击穿如何保证缓存和数据库的数据一致性 布隆过滤器
布隆过滤器Bloom Filter是一种用于快速判断一个元素是否可能存在于一个集合中的数据结构。它的核心思想是通过多个哈希函数将元素映射到一个位数组中并在查询时检查相应位是否被置位。
原理和数据结构
位数组Bit Array 布隆过滤器使用一个二进制位数组来表示集合所有位初始化为0。哈希函数Hash Functions 布隆过滤器需要多个哈希函数每个哈希函数可以将输入映射到位数组的不同位置。插入操作 当向布隆过滤器中插入一个元素时将该元素通过多个哈希函数映射到位数组的相应位置并将这些位置的位设置为1。查询操作 当查询一个元素是否存在于布隆过滤器中时将该元素通过相同的哈希函数映射到位数组的相应位置如果所有位置的位都为1则可能存在于集合中如果有任何一个位置的位为0则该元素一定不存在于集合中。
特点和应用场景
空间效率高 布隆过滤器只需要存储少量的位信息空间利用率很高。查询效率高 查询一个元素的时间复杂度是常数级别的与集合大小无关。存在误判 布隆过滤器可能会把不属于集合的元素误判为属于集合false positive但不会漏掉实际属于集合的元素。应用场景 布隆过滤器常用于缓存、网络爬虫的URL去重、拦截垃圾邮件等场景可以有效减少不必要的查询或操作。
缺点和注意事项
存在误判 布隆过滤器可能会误判元素属于集合因此在一些对准确性要求较高的场景中需要谨慎使用。不支持删除操作 由于删除元素会影响到其他元素的判断结果布隆过滤器一般不支持删除操作。哈希函数选择 哈希函数的选择对布隆过滤器的性能和误判率有很大影响需要根据实际情况选择合适的哈希函数。
布隆过滤器是一种简单而有效的数据结构能够在空间和时间上提供很好的性能但需要根据具体场景合理使用并注意其可能存在的误判问题。
在python中使用布隆过滤器
在Python中你可以使用第三方库pybloom_live来实现布隆过滤器。下面是一个简单的示例演示如何在Python 3中使用布隆过滤器
首先你需要安装pybloom_live库。你可以通过以下命令使用pip进行安装
pip install pybloom-live接下来你可以使用以下示例代码来创建并使用布隆过滤器
from pybloom_live import BloomFilter# 创建一个布隆过滤器设置预期容量为10000期望误差率为0.001
bf BloomFilter(capacity10000, error_rate0.001)# 添加元素到布隆过滤器
bf.add(apple)
bf.add(banana)
bf.add(orange)# 检查元素是否存在于布隆过滤器中
print(apple in bf) # 输出 True
print(grape in bf) # 输出 False可能是误判# 布隆过滤器不支持删除操作# 保存布隆过滤器到文件
with open(bloom_filter.bf, wb) as f:bf.tofile(f)# 从文件中加载布隆过滤器
with open(bloom_filter.bf, rb) as f:bf_loaded BloomFilter.fromfile(f)# 检查加载后的布隆过滤器是否包含元素
print(apple in bf_loaded) # 输出 True
print(grape in bf_loaded) # 输出 False可能是误判在上面的示例中我们首先创建了一个布隆过滤器并向其中添加了一些元素。然后我们检查了某些元素是否存在于布隆过滤器中。最后我们将布隆过滤器保存到文件并从文件中加载了一个新的布隆过滤器并再次检查了元素的存在性。
请注意布隆过滤器可能会产生误判因此在实际应用中你需要根据具体情况选择合适的预期容量和误差率来平衡存储空间和误判率。 文章目录 常见面试题布隆过滤器原理和数据结构特点和应用场景缺点和注意事项在python中使用布隆过滤器 三种数据删除策略LRU (Least Recently Used)工作原理应用场景 LFU (Least Frequently Used)工作原理应用场景 TTL (Time To Live)工作原理应用场景 LRU (Least Recently Used)LFU (Least Frequently Used)TTL (Time To Live) 哈希槽详细介绍使用场景 分布式锁工作原理特点和注意事项使用场景 缓存穿透缓存雪崩缓存击穿如何保证缓存和数据库的数据一致性 三种数据删除策略
当我们需要管理缓存或者存储一些临时数据时常常需要一些策略来决定何时删除数据。LRU、LFU 和 TTL 是三种常见的数据删除策略它们各自适用于不同的场景下面我会详细介绍它们的工作原理和应用场景。
LRU (Least Recently Used)
LRU最近最少使用是一种缓存淘汰算法其核心思想是基于时间局部性原理即最近被访问过的数据在未来也有可能被再次访问。LRU 算法认为最近使用过的数据可能在未来会被再次使用因此当缓存空间不足时应该优先淘汰最久未被使用的数据。
工作原理
当一个数据被访问时LRU 算法会将这个数据移到队列的头部或者说置于队列的最近位置。当缓存空间不足时LRU 算法会淘汰队列尾部或者说队列最久未被访问的的数据。
应用场景
Web 缓存缓存网页、图片等资源以加快用户访问速度。数据库缓存缓存查询结果以减少数据库访问次数。页面置换算法操作系统中当内存不足时用于选择合适的页面进行置换。
LFU (Least Frequently Used)
LFU最不经常使用是一种缓存淘汰算法其核心思想是基于访问局部性原理即经常被访问的数据在未来仍然有可能频繁被访问。LFU 算法认为被访问次数较少的数据可能是不常用的数据因此当缓存空间不足时应该优先淘汰访问次数较少的数据。
工作原理
当一个数据被访问时LFU 算法会增加该数据的访问计数。当缓存空间不足时LFU 算法会淘汰访问计数最低的数据。
应用场景
缓存系统适用于需要根据数据的使用频率来进行淘汰的场景如热点数据缓存。数据库管理可以用于缓存数据库查询结果根据查询的频率来进行数据淘汰。
TTL (Time To Live)
TTL生存时间是一种设置键的生存时间的机制常用于缓存系统中。当键的生存时间超过指定的时间后键会被自动删除。
工作原理
当设置一个键的 TTL 后系统会记录键的创建时间。当访问这个键时系统会检查当前时间与键的创建时间之间的时间差是否超过 TTL。如果超过 TTL则系统会自动删除该键。
应用场景
缓存系统可以根据数据的更新频率来设置 TTL保证缓存数据的时效性。会话管理在 Web 开发中可以使用 TTL 来设置用户会话的有效期保证安全性。
总的来说LRU、LFU 和 TTL 是常用的缓存淘汰策略根据具体的场景和需求选择合适的策略可以有效提高缓存系统的效率和性能。
设置 LRU、LFU 和 TTL 通常需要根据具体的缓存系统或应用程序来进行配置。下面我将简要介绍如何设置这三种策略
LRU (Least Recently Used) 基于数据结构的实现在使用数据结构实现缓存时可以利用双向链表和哈希表结合的方式来实现LRU。在每次访问缓存数据时将该数据移到链表的头部。当缓存空间不足时淘汰链表尾部的数据。 缓存框架的配置如果使用的是一些成熟的缓存框架如Redis、Memcached等通常会提供配置选项来设置LRU淘汰策略。在Redis中可以通过配置maxmemory-policy选项为volatile-lru或allkeys-lru来启用LRU淘汰策略。
LFU (Least Frequently Used) 基于数据结构的实现LFU通常使用哈希表和最小堆来实现。哈希表用于存储键值对最小堆用于按照访问频率维护数据。当一个数据被访问时更新其在最小堆中的访问频率以便在淘汰时能够找到访问频率最低的数据。 缓存框架的配置与LRU类似一些缓存框架提供了配置选项来启用LFU淘汰策略。在Redis中可以通过配置maxmemory-policy选项为volatile-lfu或allkeys-lfu来启用LFU淘汰策略。
TTL (Time To Live) 设置缓存数据的生存时间在存储数据时设置每个键的生存时间。在Redis中可以使用SET命令的EXPIRE选项或者SETEX命令来设置键的生存时间。 定期清理过期数据定期检查缓存中的数据将已经过期的数据进行清理。在Redis中可以使用定时任务或者使用Redis自带的过期键删除机制来清理过期数据。
以上是一些常见的设置方法具体实现方式会根据具体的缓存系统或应用程序而有所不同。在配置时还需要考虑到系统的性能和实际需求选择合适的策略和参数。 文章目录 常见面试题布隆过滤器原理和数据结构特点和应用场景缺点和注意事项在python中使用布隆过滤器 三种数据删除策略LRU (Least Recently Used)工作原理应用场景 LFU (Least Frequently Used)工作原理应用场景 TTL (Time To Live)工作原理应用场景 LRU (Least Recently Used)LFU (Least Frequently Used)TTL (Time To Live) 哈希槽详细介绍使用场景 分布式锁工作原理特点和注意事项使用场景 缓存穿透缓存雪崩缓存击穿如何保证缓存和数据库的数据一致性 哈希槽
Redis 哈希槽Redis Cluster Slot是在 Redis 集群中用于分片的一种机制。Redis 集群通过哈希槽将数据分散存储在多个节点上实现了水平扩展和负载均衡。
详细介绍 哈希槽的概念 Redis 将整个数据集分成 16384 个哈希槽每个槽都有一个唯一的编号从 0 到 16383。每个键都会被哈希到一个特定的槽上根据键计算得出的哈希值被取模 16384 后所得到的值就是对应的槽号。 数据分片 在 Redis 集群中每个节点负责管理一部分哈希槽。每个节点都知道自己负责的哈希槽范围。当执行写操作时客户端会计算键的哈希值并根据哈希槽范围将数据发送到相应的节点上。通过将数据分散存储在多个节点上实现了数据的分布式存储和负载均衡。 哈希槽的迁移 当 Redis 集群中的节点数量发生变化或者某个节点负载过高时会触发哈希槽的迁移。哈希槽迁移过程中会将槽上的数据从源节点迁移到目标节点确保数据的平衡分布。在迁移过程中集群仍然可以对外提供读写服务不会中断客户端的访问。 哈希槽的管理 Redis 集群提供了命令和 API 来管理哈希槽包括手动设置槽的范围、获取节点的槽分布情况、触发槽的迁移等操作。通过这些管理工具管理员可以灵活地管理集群的数据分布以满足不同的需求。
使用场景
水平扩展通过将数据分散存储在多个节点上实现了数据的水平扩展可以处理更大规模的数据量和请求。负载均衡哈希槽的分布式存储机制使得集群中的数据负载得以均衡提高了系统的整体性能和可用性。数据迁移当集群中的节点发生变化或者负载不均时可以通过哈希槽的迁移来重新平衡数据保持集群的稳定运行。
总的来说Redis 哈希槽是 Redis 集群中实现数据分片和负载均衡的关键机制通过合理管理哈希槽可以实现高效稳定的分布式存储服务。
分布式锁
Redis 分布式锁是在 Redis 数据库中利用原子操作和特定的数据结构来实现的一种分布式锁机制用于解决分布式系统中多个客户端对共享资源的并发访问问题。下面是详细介绍
工作原理 获取锁 客户端通过执行一段原子操作通常是 SETNX 命令来尝试获取锁如果锁的键不存在则设置锁的键并设置一个过期时间以防止锁忘记释放导致死锁。如果获取锁成功则表示该客户端获得了对共享资源的独占访问权如果获取失败则表示锁已经被其他客户端持有。 释放锁 当客户端使用完共享资源后需要执行释放锁的操作。客户端通过删除锁的键来释放锁。释放锁时需要确保释放的是自己持有的锁以防止误释放其他客户端持有的锁。 锁的续约 在某些情况下客户端可能需要持有锁的时间比较长但是锁的过期时间可能较短这时客户端可以通过重设过期时间的方式来实现锁的续约保证自己持有锁的时间不会过期。
特点和注意事项
互斥性Redis 分布式锁能够保证在任意时刻只有一个客户端持有锁确保了对共享资源的互斥访问。可重入性同一个客户端在持有锁期间可以多次获取同一把锁即可重入。阻塞和非阻塞模式获取锁的操作可以是阻塞的即客户端一直等待直到获取到锁或者是非阻塞的即尝试获取一次后立即返回结果。锁的超时和续约锁可以设置过期时间在获取锁后需要及时释放避免出现死锁情况同时可以通过续约操作来延长锁的持有时间。误删问题在释放锁时需要确保删除的是自己持有的锁防止误删其他客户端持有的锁。性能影响使用 Redis 分布式锁可能会对 Redis 服务器的性能产生一定影响特别是在高并发的情况下需要注意锁的使用方式和频率以避免对系统性能造成过大的影响。
使用场景
分布式系统中对共享资源的并发访问控制。实现任务队列的消费者竞争模式。数据库操作的乐观锁机制。
总的来说Redis 分布式锁是一种简单有效的分布式锁实现方式通过合理地使用和管理可以解决分布式系统中的并发访问问题。 缓存穿透
缓存穿透说简单点就是大量请求的 key 根本不存在于缓存中导致请求直接到了数据库上根本没有经过缓存这一层。比如某个攻击者故意制造我们缓存中不存在的 key 发起大量请求导致大量请求落到数据库上使得数据库由于性能的原因崩溃导致系统异常
缓存穿透问题产生
使用布隆过滤器 布隆过滤器是一个非常神奇的数据结构通过它我们可以非常方便地判断一个给定数据是否存在于海量数据中
具体是这样做的把所有可能存在的请求的值都存放在布隆过滤器中当用户请求过来先判断用户发来的请求的值是否存在于布隆过滤器中。不存在的话直接返回请求参数错误信息给客户端存在的话才会走下面的流程
缓存雪崩
缓存雪崩描述的就是这样一个简单的场景缓存在同一时间大面积的失效后面的请求都直接落到了数据库上造成数据库短时间内承受大量请求 解决办法 针对 Redis 服务不可用的情况
采用 Redis 集群避免单机出现问题整个缓存服务都没办法使用限流避免同时处理大量的请求
针对热点缓存失效的情况
设置不同的失效时间比如随机设置缓存的失效时间缓存永不失效
缓存击穿
如果缓存中的某个热点数据过期了此时大量的请求访问了该热点数据就无法从缓存中读取直接访问数据库数据库很容易就被高并发的请求冲垮这就是缓存击穿的问题
击穿其实可以看做是雪崩的一个子集解决方法一般有两种设置热点数据永不过期和设置互斥锁
所谓的互斥锁就是保证同一时间只有一个业务线程更新缓存对于没有获取互斥锁的请求要么等待锁释放后重新读取缓存要么就返回空值或者默认值 如何保证缓存和数据库的数据一致性
其实这是一个非常庞大且复杂的问题根本不是一两句话能够说清楚的如果要完全规避一致性问题那么整个系统也会变得非常复杂
一般来说可以进行如下处理更新 DB然后删除 cache
当然此时有可能遇到更新 DB 成功但是删除 cache 失败的情况处理办法大致有两种
缓存失效时间变短不推荐治标不治本 我们让缓存数据的过期时间变短这样的话缓存就会从数据库中加载数据。另外这种解决办法对于先操作缓存后操作数据库的场景不适用 增加 cache 更新重试机制常用如果 cache 服务当前不可用导致缓存删除失败的话我们就隔一段时间进行重试重试次数可以自己定。如果多次重试还是失败的话我们可以把当前更新失败的 key 存入队列中等缓存服务可用之后再将缓存中对应的 key 删除即可
