布隆过滤器：

布隆过滤器使用场景

• 原本有10亿个号码，现在又来了10万个号码，要快速准确判断这10万个号码是否在10亿个号码库中？
• 接触过爬虫的，应该有这么一个需求，需要爬虫的网站千千万万，对于一个新的网站url，我们如何判断这个url我们是否已经爬过了？
• 垃圾邮箱的过滤。
  

原本有10亿个号码，现在又来了10万个号码，要快速准确判断这10万个号码是否在10亿个号码库中？

用Hash来区分吗？

很有趣的应用场景。

孤星3 发表于 2023-10-18 16:13
用Hash来区分吗？

很有趣的应用场景。

不过如果只是纯号码，可以按照排序来搜寻，不必像字符串那样对比的复杂。

孤星3 发表于 2023-10-18 17:54
不过如果只是纯号码，可以按照排序来搜寻，不必像字符串那样对比的复杂。 ...

不是说了，布隆过滤器
其实，是一种模块，说白了就是一个库

hashmap也是一种方法，key与value分离
但是，它只适合小范围的过滤
大数据还得布隆过滤器

HashMap是Java中常用的集合类之一，它实现了Map接口并继承自AbstractMap类。HashMap使用哈希表来存储键值对，通过将键映射为哈希码来进行高效的插入、查找和删除操作。

以下是HashMap的常见用法和特点：

键值对：HashMap允许存储任意类型的键和值。可以通过键来查找对应的值，从而实现高效的数据查询操作。

哈希表：HashMap内部使用哈希表来组织数据。对于每个键，HashMap会先将其哈希为一个整数值，然后根据该值来快速查找对应的值。对于哈希冲突的情况，HashMap使用链表或红黑树来解决。

空键和空值：HashMap允许使用null作为键和值。当存储null时，哈希表会特殊处理以确保正确的存储和检索。

线程不安全：HashMap不是线程安全的，如果多个线程同时修改HashMap，可能会导致不一致的结果。如果需要在多线程环境下使用HashMap，可以考虑使用ConcurrentHashMap。

遍历：可以使用迭代器或者Java 8引入的Stream API来遍历HashMap的键值对。常见的遍历方式包括使用Iterator迭代器遍历或者使用forEach方法结合Lambda表达式进行遍历。

如果搞懂了hashmap，Java编程也就搞懂了一半
因为，hashmap太强大了

legs+ 发表于 2023-10-18 18:49
不是说了，布隆过滤器
其实，是一种模块，说白了就是一个库

哦哦，漏了这点。

布隆过滤器比线性搜索和二进制搜索更优越了，以前我掌握最好的只不过是二进制搜索。

从Linear Search和Binary Search翻译过来，不知道对不对？

嗯，
它实际上是一个很长的二进制向量和一系列随机映射函数。

注意函数，编程语法最简单的就是函数

这里我举一个布隆过滤器的例子：
缓存穿透

缓存穿透是指查询一个根本不存在的数据，这样就会导致请求不会命中缓存而是去查询数据库，导致后端存储压力增大，缓存失去了保护后端存储的功能。

导致缓存穿透的原因有两个，一个是自身代码和数据有问题。还有可能就是恶意攻击者导致大量空命中。

解决缓存穿透的方法有两种：

1、缓存空对象

将空对象缓存到Redis中。这样再次收到同样查询不存在的数据时就可以保护后端存储了。

但是这种方法会占用大量的内存（键），可以对这些键设置过期时间。

2、布隆过滤器

在缓存层之前加上布隆过滤器作为第一层进行过滤。布隆过滤器可以判断出该数据是否一定不存在。

如果布隆过滤器认为该数据一定不存在，那么直接返回，不需要访问缓存和后端存储。