【布隆过滤器】如何防止缓存穿透、海量邮箱的垃圾邮件过滤等问题?

article/2025/10/4 8:02:23

目录

一、布隆过滤器是什么?

二、布隆过滤器的模拟实现

2.1、模拟实现

2.2、布隆过滤器的优点和缺点

优点:

缺点:

2.3、布隆过滤器的删除功能

2.4、布隆过滤器的使用场景


一、布隆过滤器是什么?

        

        它是一种概率型数据结构,特点是高效的插入和查询,作用是可以告诉你“某个数据一定不存在,或是可能存在”,原理是通过多个哈希函数,将一个数据映射到位图中,好处是不仅提高了查询效率,也可以节省大量的内存空间,底层相当于 哈希+位图;

解读:为什么能知道“某样东西一定不存在,或者可能存在”?

        哈希冲突。因为他的原理是通过多个哈希函数来进行映射,好比我要存放两个字符串,有可能,这两个字符串经过哈希函数计算,映射到的位置正好相同,如下图:

但是,不难理解的一点是,假设有三个哈希函数进行哈希,那么如果我要查找某一个字符串,是否一定不存在,那么一定是肯定的,因为三个位置上只要有一个不为1,就说明要查找的这个字符串一定不存在

PS:

1.一般使用布隆过滤器来说,是会给定一个误判率的;

2.布隆过滤器没有存储当前的数据(如上图);

二、布隆过滤器的模拟实现

2.1、模拟实现

        这里的逻辑实现太简单了,就不展开论述了,对于添加和查找功能,就是通过不同的哈希函数进行哈希来存入或查找不同元素,查找元素时,一旦有一个数值经过哈希函数无法在位图中找到,就说明一定不存在;

代码如下:

class SimpleHash {public int cap;//容量public int seed;//随机public SimpleHash(int cap, int seed) {this.cap = cap;this.seed = seed;}/*** 根据seed的不同,创建不同点哈希函数* @param key* @return*/int hash(String key) {int h;return (key == null) ? 0 : (seed * (cap-1)) & ((h = key.hashCode()) ^ (h >>> 16));}}
public class MyBloomFilter {//bitSet的初始化大小public static final int DEFAULT_SIZE = 1 << 20;//位图public BitSet bitSet;//记录存储的数据数量public int usedSize;public static final int[] seeds = {3,5,12,6,24,32};public SimpleHash[] simpleHashes;public MyBloomFilter() {bitSet = new BitSet(DEFAULT_SIZE);//创建哈希函数simpleHashes = new SimpleHash[seeds.length];for(int i = 0; i < simpleHashes.length; i++) {simpleHashes[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]);}}/*** 添加元素到布隆过滤器* @param val*/public void add(String val) {//让每个哈希函数分别处理当前数据,并存入位图中for(int i = 0; i < simpleHashes.length; i++) {bitSet.set(simpleHashes[i].hash(val));}}/*** 是否包含val,这里会存在一定的误判* @param val 一定是通过这几个哈希函数看对应的位置* @return*/public boolean contains(String val) {//只要有1个为0 那么一定不存在for(int i = 0; i < simpleHashes.length; i++) {if(!bitSet.get(simpleHashes[i].hash(val))) {return false;}}return true;}//测试public static void main(String[] args) {MyBloomFilter myBloomFilter = new MyBloomFilter();myBloomFilter.add("hello");myBloomFilter.add("hello2");myBloomFilter.add("hello3");myBloomFilter.add("hehe");myBloomFilter.add("haha");System.out.println(myBloomFilter.contains("hello4"));}
}

PS:布隆过滤器不支持删除工作,因为删除元素时,可能会影响到其他元素;例如有两个字符串在位图中若有一个占用相同的比特位,那么删除其中任意一个字符串,都有可能造成另一个字符串找不到的情况;

2.2、布隆过滤器的优点和缺点

优点:

1.增加和查询时间复杂度都是:O(k)  ,这里k是哈希函数的个数;

2.布隆过滤器不需要存储元素本身,对有保密要求的场合有一定优势;

3.能够承受一定的误判;

4.因为底层是位图实现,因此可以存放海量数据,其他数据结构不行;

缺点:

1.有误判率,即假阳性,不能准确判断元素是否在集合中(补救方法:再建立一个白名单,存储可能会误判的数据)

2.不能获取元素本身;

3.一般情况下布隆过滤器不能删除元素;

4.如果采用计数方式删除,可能会存在计数回绕问题。

2.3、布隆过滤器的删除功能

布隆过滤器不能直接删除数据,因为删除元素时可能会影响到其他元素。

        但是办法总还是有的(计数器):将布隆过滤器中的每一个bit位扩展成一个小的计数器,插入元素时给计数器加一,删除元素时给计数器减一,这是一种多占用几倍的存储空间代价来进行删除功能;

存在缺陷:

1.无法确认元素是否真正在布隆过滤器中;

2.存在计数回绕

2.4、布隆过滤器的使用场景

1.去重功能;

2.判断给定数据是否存在:海量数据(数据亿级)存储校验、防止缓存穿透、邮箱的垃圾邮件过滤、黑名单功能等;
 



http://chatgpt.dhexx.cn/article/5vYsaSqi.shtml

相关文章

垃圾邮件过滤挑战

垃圾邮件过滤挑战 随着网络应用的逐渐发展&#xff0c;电子邮件成为人们日常工作生活中不可分割的一部分。与此同时&#xff0c;垃圾邮件的问题困扰着许多电子邮件的使用者&#xff0c;它们不仅为电子邮件的使用者带来阅读负担&#xff0c;更占用了有限的邮箱空间。为此本研究…

基于C#的机器学习--垃圾邮件过滤

在这一章&#xff0c;我们将建立一个垃圾邮件过滤分类模型。我们将使用一个包含垃圾邮件和非垃圾邮件的原始电子邮件数据集&#xff0c;并使用它来训练我们的ML模型。我们将开始遵循上一章讨论的开发ML模型的步骤。这将帮助我们理解工作流程。 在本章中&#xff0c;我们将讨论以…

基于内容的垃圾邮件过滤

1 引言 电子邮件&#xff08;E-mail&#xff09;以其方便、快捷、低成本的独特魅力成为人们日常生活中不可缺少的通信手段之一。但电子邮件给人们带来极大便利的同时&#xff0c;也日益显示出其负面影响&#xff0c;那就是我们每天收到的邮件中有很大一部分是那种“不请自来”…

朴素贝叶斯——垃圾邮件过滤

文章目录 利用朴素贝叶斯进行文档分类1、获取数据集2、切分文本3、构建词表和分类4、构建分类器5、测试算法 利用朴素贝叶斯进行垃圾邮件过滤1、导入数据集2、垃圾邮件预测 总结 利用朴素贝叶斯进行文档分类 1、获取数据集 下载数据集&#xff0c;获取到一些邮件文档。其中ha…

贝叶斯算法:垃圾邮件过滤

准备 100封邮件&#xff0c;50封垃圾邮件和50封正常邮件参考 : 贝叶斯算法原理 程序过程解释 垃圾邮件分类的数学基础是贝叶斯推断(bayesian inference)。整个程序过程主要有以下几个部分构成&#xff1a; step 1 : 提取邮件并处理 1、使用 TDirectory.GetFiles(xPat…

毕业设计-基于深度学习的垃圾邮件过滤系统的设计与实现

目录 前言 课题背景和意义 实现技术思路 实现效果图样例 前言 &#x1f4c5;大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科…

机器学习:朴素贝叶斯算法与垃圾邮件过滤

简介 贝叶斯算法是由英国数学家托马斯贝叶斯提出的&#xff0c;这个算法的提出是为了解决“逆向概率”的问题。首先我们先来解释下正向概率与逆向概率的含义&#xff1a; 正向概率&#xff1a;假设一个箱子里有5个黄色球和5个白色球&#xff0c;随机从箱子里拿出一个球&#…

朴素贝叶斯算法--垃圾邮件过滤

文章目录 一、朴素贝叶斯概述1、贝叶斯决策理论2、条件概率3、朴素贝叶斯4、朴素贝叶斯一般过程 二、朴素贝叶斯算法--垃圾邮件1、准备数据&#xff1a;从文本中构建词向量2、训练算法&#xff1a;从词向量计算概率3、测试算法&#xff1a;根据现实情况修改分类器5、垃圾邮件分…

机器学习-朴素贝叶斯过滤垃圾邮件

一、朴素贝叶斯实现垃圾邮件分类的原理 什么是朴素贝叶斯算法&#xff1a;用贝叶斯定理来预测一个未知类别的样本属于各个类别的可能性,选择可能性最大的一个类别作为该样本的最终类别。 用这个算法处理垃圾邮件就可以理解为&#xff1a;用贝叶斯定理来预测一封由若干个单词组成…

机器学习项目(一)——垃圾邮件的过滤技术

一、垃圾邮件过滤技术项目需求与设计方案 二、数据的内容分析 &#xff08;1、是否为垃圾邮件的标签&#xff0c;spam——是垃圾邮件&#xff1b;ham——不是垃圾邮件&#xff09; &#xff08;2、邮件的内容分析——主要包含&#xff1a;发件人、收件人、发件时间以及邮件的内…

多线程的闭锁和栅栏

多线程的闭锁和栅栏 JAVA并发包中有三个类用于同步一批线程的行为&#xff0c;分别是闭锁&#xff08;Latch&#xff09;&#xff0c;信号灯&#xff08;Semaphore&#xff09;和栅栏&#xff08;CyclicBarrier&#xff09;。这里我们主要来介绍一下&#xff1a; 闭锁&#x…

分布式锁(Distributed Lock)理论介绍

在多线程环境中&#xff0c;线程之间通常使用互斥锁实现共享资源的独占访问。在多进程环境&#xff0c;特别是分布式环境&#xff0c;常使用分布式锁来实现共享资源的独占访问。简单来说&#xff0c;分布式锁就是指在分布式环境下&#xff0c;通过加解锁实现多节点对共享资源的…

迟滞电路 平稳欠压和过压闭锁

下述的等式假设比较器输入端的输入偏置电流为0&#xff0c;而示例只考虑了电阻比&#xff0c;而未考虑绝对值。比较器输入同时具有输入失调电压(VOS)、参考误差&#xff08;也可以与VOS合并&#xff09;&#xff0c;以及输入偏置电流或漏电流(ILK)。如果分压器偏置电流&#xf…

偏向锁

流程讲解 当JVM启用了偏向锁模式&#xff08;JDK6以上默认开启&#xff09;&#xff0c;新创建对象的Mark Word中的Thread Id为0&#xff0c;说明此时处于可偏向但未偏向任何线程&#xff0c;也叫做匿名偏向状态(anonymously biased)。 偏向锁逻辑 1.线程A第一次访问同步块时&…

什么是间隙锁?

什么是间隙锁? 间隙锁是一个在索引记录之间的间隙上的锁。 间隙锁的作用 保证某个间隙内的数据在锁定情况下不会发生任何变化。比如mysql默认隔离级别下的可重复读(RR)。 当使用唯一索引来搜索唯一行的语句时,不需要间隙锁定。如下面语句的id列有唯一索引,此时只会对id值…

锁消除、锁粗化、偏向锁、适应性锁

文章目录 锁消除锁粗化偏向锁适应性锁 锁消除 锁消除是JIT编译器对内部锁实现的一种优化。JIT可以借助逃逸分析来判断同步块的锁对象是否只是被一个线程访问&#xff0c;如果是的话&#xff0c;则在编译期间不生成内部锁的申请与释放对应的机器码&#xff0c;即消除了锁的使用…

多线程并发之CountDownLatch(闭锁)使用详解

专题相关文章&#xff1a; 从内存可见性看Volatile、原子变量和CAS算法 多线程并发之CountDownLatch(闭锁)使用详解 多线程并发之显示锁Lock与其通信方式Condition源码解读 多线程并发之读写锁(ReentranReadWriteLock&ReadWriteLock)使用详解 多线程并发之线程池Executor与…

【ABAQUS】什么是剪切闭锁?剪切闭锁会导致什么?

“完全积分”是指当单元具有规则形状时&#xff0c;对单元刚度矩阵中的多项式项进行精确积分所需的高斯点数。对于六面体和四边形元素&#xff0c;“规则形状”意味着边缘是直的&#xff0c;并以直角相交&#xff0c;任何边缘节点都位于边缘的中点。 完全积分的线性元素在每个…

电力“五防”闭锁系统

&#xff08;转载&#xff09; 电力“五防”闭锁系统 随着电子技术在各个行业领域的飞速发展&#xff0c;电力的“五防”也将发生革命性的转变。现代电力系统规模不断扩大&#xff0c;从而促使电压的等级也得到了进一步提高。为了使电力系统的安全稳定运行能够得以充分保障&am…