房地产网站建设,动画毕业设计代做网站,北京行业网站建设,php mysql 网站建设通常情况下#xff0c;被访问的数据即使不在缓存当中#xff0c;请求也是可以访问数据库然后将结果回填到缓存中的。缓存“穿透”是指#xff0c;访问的 key 并不存在#xff08;即业务系统中没有这个 key#xff09;#xff0c;之后请求“穿透”到数据库中#xff0c;从…通常情况下被访问的数据即使不在缓存当中请求也是可以访问数据库然后将结果回填到缓存中的。缓存“穿透”是指访问的 key 并不存在即业务系统中没有这个 key之后请求“穿透”到数据库中从数据库查询出来的是空值NULL。
用户访问一个不存在的 key“穿透”到数据库中数据库返回空值并不会回填到缓存中那么后续不管查询这个key多少次都会缓存命中失败直接“穿透”到数据库中。这样会严重影响数据库的性能。
如果是恶意破坏的请求或者恶意地大量访问不存在的key则会使系统的整体性能严重下降并最终影响正常的用户请求。
1. 解决方案
大量的缓存“穿透”会对系统产生致命的影响所以对于缓存“穿透”需要重视起来。一般有以下两种解决方案。
1回种空值。
发生“穿透”的原因是在数据库中根本不存在被访问的数据。这样无论访问多少次都获取不到这些数据“穿透”会一直发生。
所以在访问不存在的数据时虽然第一次“穿透”到数据库获取的是空值NULL但可以用这个空值NULL回填缓存称为“回种空值”。
但是空值并不是真实的业务数据如果有人恶意访问这些并不存在的 key则会占用很大的内存空间从而将正常的业务 key 给自动淘汰掉。所以在将这些不存在 key 写入缓存时可以加上一个很短的有效期以使其快速过期伪代码如下
Object nullValue new Object();try { // 从数据库中查询数据Object valueFromDB selectFromDB(uid);if (valueFromDB null {// 如果从数据库查询到空值则把空值写入缓存并设置较短的超时时间redisCache.set(uid, nullValue, 10);} else {redis.Cache.set(uid, valueFromDB, 1000);}} catch Exception(e) { redisCache.set(uid, nullValue, 10)}
回种空值这种方案会阻挡很大一部分的“穿透”请求。但是如果大批量地访问不存在的 key则这种方案会造成缓存容量的紧张甚至占满内存空间。
在具体实施过程中。如果要解决这种“穿透”则需要额外增加很多的缓存节点有点得不偿失此时可以考虑使用第二种方案“实用布隆过滤器”。
2使用布隆过滤器
布隆过滤器用来检测一个元素是否在一个集合中。这种算法由一个二进制数组加上一个Hash算法组成。其基本原理如下 数据结构 布隆过滤器通常由一个位数组Bit Array和一组哈希函数组成。 位数组 位数组是布隆过滤器的主要存储结构它通常初始化为全部为0。每个元素在位数组中对应多个位初始时都被设为0。 哈希函数 布隆过滤器需要 k 个哈希函数。这些哈希函数可以将任意大小的数据映射到位数组的某个位置。对于每个元素通过这 k 个哈希函数计算出 k 个哈希值然后将对应的位数组位置设为1。 插入操作 当向布隆过滤器中插入一个元素时通过 k 个哈希函数计算出 k 个哈希值并将对应的位数组位置设为1。 查询操作 当查询一个元素是否存在于集合中时同样通过 k 个哈希函数计算出 k 个哈希值然后检查这 k 个位置的值。如果所有的位置都为1则认为元素可能存在如果有任何一个位置为0则元素一定不存在。
由于哈希函数的存在布隆过滤器有一定的误判率即可能存在 误判为存在 的情况但不存在 误判为不存在 的情况。
优点
布隆过滤器的查询时间复杂度是常量级别的非常高效。空间效率较高因为只需要存储位数组和少量哈希函数。
缺点
有一定的误判率。不支持删除操作删除一个元素可能会影响其他元素的判断结果。
应用场景
缓存系统用于快速判断某个数据是否在缓存中。防止缓存穿透即防止查询不存在的数据频繁地访问数据库。分布式系统中的去重操作等。
