百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

【Redis】Redis应用问题-缓存穿透缓存击穿、缓存雪崩及解决方案

nanshan 2025-05-11 17:26 8 浏览 0 评论

在我们使用redis时,也会存在一些问题,导致请求直接打到数据库上,导致数据库挂掉。下面我们来说说这些问题及解决方案。

1、缓存穿透

1.1 场景

一个请求进来后,先去redis进行查找,redis存在,则返回,不存在则查询数据数据库,数据存在则放到redis中,但是key对应的数据有可能在数据库中也不存在,每次从缓存中获取不到数据,请求就会压到数据库,可能导致压垮数据库。

1.2 解决方案

1.2.1 对空值缓存

即将不存在的数据的值设置成null,进行缓存,并设置过期时间,到时间后自动删除缓存(时间不要超过5分钟)

实现代码:

java复制代码    private static final Logger log = LoggerFactory.getLogger(SolveBreakDown.class);

    @Autowired
    private RedisTemplate<String,String> redisTemplate;
    private static final Map<String,String> DATA_MAP = new HashMap<>(1);
    static {
        DATA_MAP.put("key","模拟数据库查询数据");
    };

    @GetMapping("/solve.do")
    public ResultUtil<String> solveBreakDown(){
        String val = redisTemplate.opsForValue().get("key");
        if (StringUtils.isBlank(val)){
            log.info("模拟查询数据库");
            //模拟数据库查询
            String selVal = DATA_MAP.get("key");
            redisTemplate.opsForValue().set("key",selVal,1L, TimeUnit.MINUTES);
        }
        return ResultUtil.success(val);
    }

执行结果:

第一次执行时控制台打印日志:

一分钟内再次访问时,不会在进入模拟数据库查询数据这段代码。

1.2.2 设置访问白名单

在redis中bitmaps中保存可以访问的名单,名单id作为bitmaps的偏移量,每次访问都和bitmaps中的id进行比较,id不存在时进行拦截,不允许访问。

实现步骤:

1.2.2.1 加载白名单

模拟将数据库数据加载到redis中。

java复制代码@Component
public class RedisWhiteNameLoad implements CommandLineRunner {
    private static final List<String> WHITE_NAMES = Arrays.asList("10000001","10000002");
    private static final Logger log = LoggerFactory.getLogger(RedisWhiteNameLoad.class);

    @Autowired
    private RedisTemplate redisTemplate;


    @Override
    public void run(String... args) throws Exception {
        WHITE_NAMES.forEach(name -> {
            log.info("加载白名单");
            redisTemplate.opsForValue().setBit("white_"+name,1,true);
        });
    }
}

1.2.2.2 校验

java复制代码/**
 * @author: jiangjs
 * @description: redis缓存击穿解决方案
 * @date: 2023/5/25 15:29
 **/
@RestController
@RequestMapping("/breakdown")
public class SolveBreakDown {

    private static final Logger log = LoggerFactory.getLogger(SolveBreakDown.class);

    @Autowired
    private RedisTemplate<String,String> redisTemplate;

    @GetMapping("/white.do/{id}")
    public ResultUtil<String> whiteName(@PathVariable("id") String id){
        Boolean bit = redisTemplate.opsForValue().getBit(id, 1);
        String result = bit ? "白名单,可以继续访问" : "不符合,不能访问";
        return ResultUtil.success(result);
    }
}

执行结果:

1.2.3 布隆过滤器

布隆过滤器,用于检测一个元素是否在一个集合,优点是空间效率和查询时间远超一般的算法,缺点是有一定的误识别率和删除困难。 (存在可能存在,不存在一定不存在)

将所有可能存在的数据哈希到一个足够大的bitmaps中,一个一定不存在的数据会被这个bitmaps拦截掉,从而避免对底层存储系统的查询压力。

1.2.4 实时监控

当发现redis的命中率开始急速降低,需要排查访问对象和访问的数据,和运维人员配置,可以设置黑名单限制其提供服务。

2、缓存击穿

2.1 场景

redis中某个热点key过期了,此时大量请求同时进行访问,未获取到缓存数据,这些请求全部打到DB上,导致数据库瞬间压力大增,可能打垮数据库。

2.2 解决方案

2.2.1 预先设置热门数据,适时调整过期时间

在redis高峰之前,把一些热门数据提前存入到redis里面,对缓存中的这些热门数据进行监控,试试调整过期时间。

2.2.1.1 获取热门数据,设置过期时间

java复制代码    /**
     * @author: jiangjs
     * @description: 设置热门数据
     * @date: 2023/5/29 11:13
     **/
    @Component
    public class HotData implements CommandLineRunner {
        private static final Logger log = LoggerFactory.getLogger(HotData.class);
        @Autowired
        private RedisTemplate<String,String> redisTemplate;

        @Override
        public void run(String... args) throws Exception {
            //RedisData.DATA_MAP是设置的模拟数据,读者自行设置
            Map<String, String> dataMap = RedisData.DATA_MAP;
            dataMap.forEach((k,v) ->{
                double random = Math.ceil(10 * Math.random());
                long outTime = 10L + new Double(random).longValue();
                log.info("用户:"+k+",过期时间:"+outTime);
                redisTemplate.opsForValue().set(k,v,outTime, TimeUnit.SECONDS);
            });
        }
    }

2.2.1.2 监控数据,过期时重新设置过期时间

1、redis支持监听过期时间

redis默认是关闭监听过期时间的,因此需要进行启动。

命令 config set notify-keyspace-events Ex

或直接在redis.conf中添加:notify-keyspace-events "Ex"

2、设置监听

java复制代码    /**
     * @author: jiangjs
     * @description: redis配置类
     * @date: 2023/4/7 11:16
     **/
    @Configuration
    public class RedisConfig {
        
        @Bean
        public RedisMessageListenerContainer listenerContainer(RedisConnectionFactory factory){
            RedisMessageListenerContainer listenerContainer = new RedisMessageListenerContainer();
            listenerContainer.setConnectionFactory(factory);
            return listenerContainer;
        }
    }

3、重新设置过期时间

集成
KeyExpirationEventMessageListener,获取过期的key,重新设置过期时间

java复制代码    /**
     * @author: jiangjs
     * @description:
     * @date: 2023/5/29 15:24
     **/
    @Component
    public class RedisKeyExpirationListener extends KeyExpirationEventMessageListener {

        private final static Logger log = LoggerFactory.getLogger(RedisKeyExpirationListener.class);
        @Autowired
        private RedisTemplate<String,String> redisTemplate;
        
        public RedisKeyExpirationListener(RedisMessageListenerContainer listenerContainer) {
            super(listenerContainer);
        }

        @Override
        public void onMessage(Message message, byte[] pattern) {
            String key = message.toString();
            log.info("key:" + key + "过期,重新加载数据,设置过期时间");
            String val = RedisData.DATA_MAP.get(key);
            double random = Math.ceil(10 * Math.random());
            long outTime = 10L + new Double(random).longValue();
            log.info("设置用户:"+key+",过期时间:"+outTime);
            redisTemplate.opsForValue().set(key,val,outTime, TimeUnit.SECONDS);
            super.onMessage(message, pattern);
        }
    }

执行结果:

2.2.2 使用锁

缓存中拿不到数据后,此时不能立即去数据库查询,而是去获取分布式锁,拿到锁后再去数据库中查询数据,拿不到锁线程休眠一段时间后再重试整个获取数据的方法。

2.2.2.1 创建锁工具

java复制代码    /**
     * @author: jiangjs
     * @description:
     * @date: 2023/5/31 9:33
     **/
    public class Locked {
        private final RedisTemplate<String,String> redisTemplate;

        public Locked(RedisTemplate<String,String> redisTemplate){
            this.redisTemplate = redisTemplate;
        }

        private final static String HOT_KEY_LOCKED = "locked_hot_key";
        /**
         * 获取锁
         * @return 返回加锁状态
         */
        public boolean getLock(){
            Boolean absent = redisTemplate.opsForValue().setIfAbsent(HOT_KEY_LOCKED, "locking", 30L, TimeUnit.SECONDS);
            return Objects.nonNull(absent) ? absent : false;
        }

        /**
         * 释放锁
         */
        public void releaseLock(){
            redisTemplate.delete(HOT_KEY_LOCKED);
        }
    }

2.2.2.2 获取锁,查询数据

先获取锁,如果获取失败则过10s后再继续。

java复制代码    public ResultUtil<String> lockedData(@PathVariable("key") String key){
            String val = redisTemplate.opsForValue().get(key);
            if (StringUtils.isBlank(val)){
                Locked locked = new Locked(redisTemplate);
                while (true){
                    boolean lock = locked.getLock();
                    if (lock){
                        log.info("获取到锁,拿去数据......");
                        val = DATA_MAP.get(key);
                       // locked.releaseLock();
                        break;
                    } else {
                        try {
                            log.info("未获取到锁,10s后再试......");
                            Thread.sleep(10000);
                        } catch (InterruptedException e) {
                            e.printStackTrace();
                        }
                    }
                }
            }
            return ResultUtil.success(val);
        }

ResultUtil:是封装的统一返回数据类。

执行结果:

上述代码中,只是简单地加了锁,如果在分布式系统中,请使用分布式锁。

3、缓存雪崩

3.1 场景

redis中大量key集中过期,此时大量并发进行请求,缓存中没有数据,请求只能落到DB上去加载数据,导致DB击穿,服务崩溃

缓存雪崩与缓存击穿区别:前者是大量key过期,后者是某个key过期。

3.2 解决方案

3.2.1 多级缓存

nginx缓存 + redis缓存 + 其他缓存(ehcache等)

3.2.2 锁或队列

加锁或队列的方式来保证不会有大量的线程对数据库一次性进行读写,从而避免失效时大量的并发请求落到底层存储系统上,不适用高并发情况

3.3.3 监控缓存过期,提前更新

监控缓存,发现缓存快过期时,提前对缓存更新。可以参见:缓存击穿中的【2.2.1】解决方案

3.3.4 错开缓存失效时间

即将key的过期时间设置成不同时间段,避免同一时间失效,例如在失效时间上加上1-5分钟随机数

java复制代码    /**
     * @author: jiangjs
     * @description: 设置热门数据
     * @date: 2023/5/29 11:13
     **/
    @Component
    public class HotData implements CommandLineRunner {
        private static final Logger log = LoggerFactory.getLogger(HotData.class);
        @Autowired
        private RedisTemplate<String,String> redisTemplate;

        @Override
        public void run(String... args) throws Exception {
            //RedisData.DATA_MAP是设置的模拟数据,读者自行设置
            Map<String, String> dataMap = RedisData.DATA_MAP;
            dataMap.forEach((k,v) ->{
                double random = Math.ceil(10 * Math.random());
                long outTime = 10L + new Double(random).longValue();
                log.info("用户:"+k+",过期时间:"+outTime);
                redisTemplate.opsForValue().set(k,v,outTime, TimeUnit.SECONDS);
            });
        }
    }

上述就是我总结redis应用问题的解决方案,希望对大家工作中有所帮助。后期我也会补上布隆过滤器解决方案,谢谢!

相关推荐

实战派 | Java项目中玩转Redis6.0客户端缓存

铺垫首先介绍一下今天要使用到的工具Lettuce,它是一个可伸缩线程安全的redis客户端。多个线程可以共享同一个RedisConnection,利用nio框架Netty来高效地管理多个连接。放眼望向...

轻松掌握redis缓存穿透、击穿、雪崩问题解决方案(20230529版)

1、缓存穿透所谓缓存穿透就是非法传输了一个在数据库中不存在的条件,导致查询redis和数据库中都没有,并且有大量的请求进来,就会导致对数据库产生压力,解决这一问题的方法如下:1、使用空缓存解决对查询到...

Redis与本地缓存联手:多级缓存架构的奥秘

多级缓存(如Redis+本地缓存)是一种在系统架构中广泛应用的提高系统性能和响应速度的技术手段,它综合利用了不同类型缓存的优势,以下为你详细介绍:基本概念本地缓存:指的是在应用程序所在的服务器内...

腾讯云国际站:腾讯云服务器如何配置Redis缓存?

本文由【云老大】TG@yunlaoda360撰写一、安装Redis使用包管理器安装(推荐)在CentOS系统中,可以通过yum包管理器安装Redis:sudoyumupdate-...

Spring Boot3 整合 Redis 实现数据缓存,你做对了吗?

你是否在开发互联网大厂后端项目时,遇到过系统响应速度慢的问题?当高并发请求涌入,数据库压力剧增,响应时间拉长,用户体验直线下降。相信不少后端开发同行都被这个问题困扰过。其实,通过在SpringBo...

【Redis】Redis应用问题-缓存穿透缓存击穿、缓存雪崩及解决方案

在我们使用redis时,也会存在一些问题,导致请求直接打到数据库上,导致数据库挂掉。下面我们来说说这些问题及解决方案。1、缓存穿透1.1场景一个请求进来后,先去redis进行查找,redis存在,则...

Spring boot 整合Redis缓存你了解多少

在前一篇里面讲到了Redis缓存击穿、缓存穿透、缓存雪崩这三者区别,接下来我们讲解Springboot整合Redis中的一些知识点:之前遇到过,有的了四五年,甚至更长时间的后端Java开发,并且...

揭秘!Redis 缓存与数据库一致性问题的终极解决方案

在现代软件开发中,Redis作为一款高性能的缓存数据库,被广泛应用于提升系统的响应速度和吞吐量。然而,缓存与数据库之间的数据一致性问题,一直是开发者们面临的一大挑战。本文将深入探讨Redis缓存...

高并发下Spring Cache缓存穿透?我用Caffeine+Redis破局

一、什么是缓存穿透?缓存穿透是指查询一个根本不存在的数据,导致请求直接穿透缓存层到达数据库,可能压垮数据库的现象。在高并发场景下,这尤其危险。典型场景:恶意攻击:故意查询不存在的ID(如负数或超大数值...

Redis缓存三剑客:穿透、雪崩、击穿—手把手教你解决

缓存穿透菜小弟:我先问问什么是缓存穿透?我听说是缓存查不到,直接去查数据库了。表哥:没错。缓存穿透是指查询一个缓存中不存在且数据库中也不存在的数据,导致每次请求都直接访问数据库的行为。这种行为会让缓存...

Redis中缓存穿透问题与解决方法

缓存穿透问题概述在Redis作为缓存使用时,缓存穿透是常见问题。正常查询流程是先从Redis缓存获取数据,若有则直接使用;若没有则去数据库查询,查到后存入缓存。但当请求的数据在缓存和数据库中都...

Redis客户端缓存的几种实现方式

前言:Redis作为当今最流行的内存数据库和缓存系统,被广泛应用于各类应用场景。然而,即使Redis本身性能卓越,在高并发场景下,应用于Redis服务器之间的网络通信仍可能成为性能瓶颈。所以客户端缓存...

Nginx合集-常用功能指导

1)启动、重启以及停止nginx进入sbin目录之后,输入以下命令#启动nginx./nginx#指定配置文件启动nginx./nginx-c/usr/local/nginx/conf/n...

腾讯云国际站:腾讯云怎么提升服务器速度?

本文由【云老大】TG@yunlaoda360撰写升级服务器规格选择更高性能的CPU、内存和带宽,以提供更好的处理能力和网络性能。优化网络配置调整网络接口卡(NIC)驱动,优化TCP/IP参数...

雷霆一击服务器管理员教程

本文转载莱卡云游戏服务器雷霆一击管理员教程(搜索莱卡云面版可搜到)首先你需要给服务器设置管理员密码,默认是空的管理员密码在启动页面进行设置设置完成后你需要重启服务器才可生效加入游戏后,点击键盘左上角E...

取消回复欢迎 发表评论: