百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Java面试题|Redis缓存穿透如何使用布隆过滤器预处理无效key

nanshan 2024-12-12 14:06 12 浏览 0 评论

Redis缓存穿透是指当缓存中的数据失效时,多个请求同时访问数据库,导致数据库压力过大。为了解决这个问题,可以使用布隆过滤器来进行预处理。

一、布隆过滤器概述

布隆过滤器是一种高效的数据结构,用于快速判断一个元素是否可能存在于集合中。其核心思想是通过多个哈希函数将元素映射到一个位数组中,从而利用空间换时间的方式提高查询效率。

二、布隆过滤器处理缓存穿透的原理

初始化布隆过滤器

  1. 创建一个固定大小的位数组,通常初始化为0。
  2. 选择多个独立的哈希函数,这些函数将输入数据(如字符串或数字)映射到位数组的索引位置。

插入元素

  1. 当要将一个元素添加到集合中时,使用每个哈希函数对该元素进行哈希计算,并将位数组中对应位置的位设置为1。

检查元素

  1. 要检查一个元素是否可能在集合中时,再次使用每个哈希函数对该元素进行哈希计算,并检查位数组中对应位置的位是否都为1。
  2. 如果任何一位为0,则元素肯定不在集合中;如果所有位都为1,则元素可能在集合中(注意,这里存在误判的可能性)。

三、使用布隆过滤器处理Redis缓存穿透的步骤

在Redis前添加布隆过滤器

  1. 在应用服务器和Redis缓存之间添加一层布隆过滤器,用于快速判断请求的数据是否存在于集合中。

预检查请求数据

  1. 在查询Redis缓存之前,先使用布隆过滤器对请求的数据进行预检查。
  2. 如果布隆过滤器判断该数据不存在于集合中,则直接返回404或错误信息,避免进一步查询Redis和数据库。

处理缓存未命中情况

  1. 如果布隆过滤器判断该数据可能存在于集合中(即所有相关位都为1),则继续查询Redis缓存。
  2. 如果Redis缓存未命中,则再查询数据库。
  3. 如果数据库查询也未返回结果,则将该数据的键添加到布隆过滤器中(对于不存在的数据,可以通过这种方式减少未来的无效请求)。

更新缓存

  1. 当从数据库中查询到数据时,将该数据更新到Redis缓存中,并设置适当的过期时间。

四、注意事项

误判率

  1. 布隆过滤器存在误判的可能性,即可能将不存在的元素误判为存在。但在缓存穿透的场景中,我们更关注的是对数据库的保护,因此这个特性不会造成太大问题。
  2. 可以通过调整布隆过滤器的参数(如位数组的大小和哈希函数的数量)来降低误判率。

元素删除

  1. 标准布隆过滤器不支持删除元素。如果需要删除元素,可以考虑使用计数式布隆过滤器或其他变种。

性能考虑

  1. 布隆过滤器的插入和查询操作都非常快,可以达到常数时间复杂度O(k),其中k是哈希函数的数量。
  2. 在高并发场景下,布隆过滤器能够显著降低数据库的压力,提高系统的性能和稳定性。


布隆过滤器(Bloom Filter)是一种空间效率极高的概率型数据结构,用于快速判断一个元素是否存在于一个集合中。它利用位数组来存储信息,通过多个哈希函数将元素映射到位数组中的多个位置,并将这些位置的值设置为1。在查询时,只需检查这些位置的值是否都为1,如果有一个位置为0,则元素一定不存在;如果所有位置都为1,则元素可能存在(存在一定的误判率)。在Redis中,可以使用其位图数据结构来实现布隆过滤器的功能。以下是一个使用Java和Jedis(Redis的Java客户端)实现布隆过滤器的示例代码:

首先,确保已经在项目中引入了Jedis库。如果使用Maven构建项目,可以在`pom.xml`文件中添加以下依赖:

<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>3.7.0</version>
</dependency>


以下是Java代码实现:

import redis.clients.jedis.Jedis;

public class BloomFilterExample {

    private static final int[] seeds = {3, 5, 7, 11, 13, 17, 19, 23, 29, 31}; // 哈希函数种子
    private static final int DEFAULT_SIZE = 2 << 24; // 布隆过滤器的默认大小(可根据实际需求调整)
    private static final double DEFAULT_FALSE_POSITIVE_PROBABILITY = 0.01; // 误判率(可根据实际需求调整)

    private Jedis jedis;
    private int[] offsets;
    private int numHashes;

    public BloomFilterExample() {
        this.jedis = new Jedis("localhost", 6379); // 根据实际Redis连接信息修改
        this.numHashes = optimalNumOfHashFunctions(DEFAULT_FALSE_POSITIVE_PROBABILITY, DEFAULT_SIZE);
        this.offsets = new int[numHashes];
    }

    // 计算最优的哈希函数数量
    private int optimalNumOfHashFunctions(double falsePositiveProbability, int size) {
        return (int) Math.ceil(-Math.log(falsePositiveProbability) / Math.log(2));
    }

    // 计算哈希函数的偏移量
    private void calculateOffsets(String value) {
        for (int i = 0; i < numHashes; i++) {
            int hash = hash(value, seeds[i]);
            offsets[i] = Math.abs(hash % DEFAULT_SIZE);
        }
    }

    // 向布隆过滤器中添加元素
    public void add(String key, String value) {
        calculateOffsets(value);
        for (int offset : offsets) {
            jedis.setbit(key, offset, true);
        }
    }

    // 判断元素是否可能存在于布隆过滤器中(可能存在误判)
    public boolean mightContain(String key, String value) {
        calculateOffsets(value);
        for (int offset : offsets) {
            if (!jedis.getbit(key, offset)) {
                return false;
            }
        }
        return true;
    }

    // 关闭Redis连接
    public void close() {
        jedis.close();
    }

    // 简单的哈希函数实现(可根据需要替换为更复杂的哈希函数)
    private int hash(String value, int seed) {
        int hash = 0;
        for (int i = 0; i < value.length(); i++) {
            hash = hash * seed + value.charAt(i);
        }
        return hash & 0x7FFFFFFF;
    }

    public static void main(String[] args) {
        BloomFilterExample bloomFilter = new BloomFilterExample();

        String key = "bloom-filter-example";
        String value1 = "hello";
        String value2 = "world";

        bloomFilter.add(key, value1);

        System.out.println("Does '" + value1 + "' might exist? " + bloomFilter.mightContain(key, value1));
        System.out.println("Does '" + value2 + "' might exist? " + bloomFilter.mightContain(key, value2));

        bloomFilter.close();
    }
}


在上述代码中:

- `BloomFilterExample`类实现了一个简单的布隆过滤器功能,通过Jedis与Redis进行交互。

- 构造函数中初始化了Jedis连接、计算了哈希函数数量,并创建了用于存储偏移量的数组。

- `add`方法用于向布隆过滤器中添加元素,通过计算元素的哈希值得到多个偏移量,并在Redis的位图中将对应位置设置为`true`。

- `mightContain`方法用于判断元素是否可能存在于布隆过滤器中,计算元素的哈希偏移量后,检查Redis位图中对应位置是否都为`true`,如果有一个为`false`,则元素一定不存在;如果都为`true`,则元素可能存在(存在误判可能)。

- `main`方法演示了如何使用布隆过滤器,向过滤器中添加一个元素并进行存在性判断。

请注意,这只是一个简单的示例,实际应用中可能需要根据具体需求进行优化和扩展,例如处理大规模数据时可能需要考虑分布式布隆过滤器等更高级的实现方式,同时还需要根据实际情况调整布隆过滤器的大小、误判率等参数以平衡性能和准确性。此外,Redis的位图操作在处理大规模数据时可能会占用较多内存,需要确保Redis服务器有足够的资源可用。

相关推荐

服务器温度监控--lm-sensors(服务器温度怎么看)

lm-sensors是一款linux的硬件监控的软件,可以帮助我们来监控主板,CPU的工作电压,风扇转速、温度等数据。这些数据我们通常在主板的BIOS也可以看到。当我们可以在机器运行的时候通过...

MySQL版本区别及管理(mysql版本最新版本)

MySQL版本区别及管理一.MySQL5.6与MySQL5.7安装的区别1、cmake的时候加入了bostorg2、初始化时使用mysqld--initialize替代mysql_install...

Linux技术问答系列-NO4(linux必知必会)

一.绝对路径用什么符号表示?当前目录、上层目录用什么表示?主目录用什么表示?切换目录用什么命令?绝对路径:如/etc/init.d当前目录和上层目录:./../主目录:~/切换目录:cd二...

猫盘原版系统开启ssh教程(猫盘原版系统怎么样)

猫盘是之前网上流传许久的矿渣,默认其系统不支持SSH功能,为了能打开其SSH功能,我特意制作操作教程如下:1、到网盘下载相关软件,利用猫盘系统自带功能,将assets放入个人存储目录下,并牢记对应的...

一探究竟——天融信网闸TopRules7000

网闸即:安全隔离与信息交换系统,常用作企业内外网隔离与业务互访用途。相比给服务器加多块网卡跨多个网段来说,网闸提供了更加安全的方式。探究背景:某次,网闸配置新业务,重启设备查看是否生效,结果发现刚重启...

操作系统加固通用Linux篇(linux系统加固常见操作)

1检查是否配置登陆超时时间设置编辑vi/etc/profile文件,配置TMOUT将值设置为低于300.TMOUT=3002检查是否禁止root用户登录FTP设置如下将对应配置文件中,设置roo...

zabbix agent的安装与配置(zabbix-agent安装)

Agent安装rpm-ivhzabbix-agent-3.2.4-1.el6.x86_64.rpm安装完成后,zabbixagent端已经安装完成了,zabbixagent端的配置目录位于/e...

Linux基础命令之计划任务(linux计划任务crontab)

一、计划任务1、at只能执行一次语法:at时间服务:atd必须开启123[root@xuegod163~]#/etc/init.d/atdstatus#查看服务状态atd(pid2...

Secure Delivery Center (SDC)安装指南二:Delivery Hub

免费下载SecureDeliveryCenter2015>7月23日软件分发管理神器SecureDeliveryCenter免费技术交流会,MyEclipse原厂商倾力主讲,敬请关注!...

OpenWrt 常用命令及用法!!(openwrt常用功能)

OpenWrt是一个高度可定制的嵌入式Linux操作系统,常用于路由器等网络设备。以下是一些常见的OpenWrt命令及其详细解释和示例操作:一、系统信息相关命令1.`uname-a``u...

Linux 设置定时任务crontab命令(linux定时任务cron表达式)

看了同事的脚本,发现他用了cron来自检自身的那个程序是否崩溃了,这是有多大的不自信才用这种机制的?点击(此处)折叠或打开$sudocat/var/spool/cron/crontabs/ro...

vCenter纳管ESXI主机出错(vsphere esxi)

vCenter纳管主机的大致步骤为:(1)vc和esxi交换证书,确立信任;(2)esxi把自己的资源信息同步到VC,VC建立清单。(3)VC在esxi建立几个操作用户;(4)然后下发...

从选购到安装 小白也能看懂的超全NAS经验分享

0.篇首语Hello大家好,我是KC,上一篇器材和工作流分享的文章里,有小伙伴问我怎么没有提到NAS?其实是因为前段时间碰巧更换了一台新NAS,折腾了一段时间很多内容还没来及整理和汇总,今天就...

手把手教你!如何在 Linux 服务器中搭建 Sentinel 环境?

你在Linux服务器上搭建Sentinel环境时,是不是也遇到过各种报错,要么是启动失败,要么是配置后无法正常访问控制台?看着同事顺利搭建好,自己却一头雾水,别提多着急了!其实,很多互联网大厂...

服务器被暴力破解的解决办法(二)(服务器被攻破严重吗)

上一次,我们说到小王公司服务器遭遇暴力破解,拿到解决方案回公司就开始部署。部署完成后的确起到了一定的效果,不过接下来的一个问题让他很头疼,原来黑客虽然攻入不进系统,但是依旧不依不饶的进行暴力破解。...

取消回复欢迎 发表评论: