内存崩溃了？其实你只需要换一种方式(4)

最常见的解决办法就是采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的bitmap中，一个一定不存在的数据会被这个bitmap拦截掉，从而避免了对底层存储系统的查询压力。下面是一段伪代码：

public String getByKey(String key) { 
    // 通过key获取value 
    String value = redis.get(key); 
    if (StringUtil.isEmpty(value)) { 
        if (bloomFilter.mightContain(key)) { 
            value = xxxService.get(key); 
            redis.set(key, value); 
            return value; 
        } else { 
            return null; 
        } 
    } 
    return value; 
} 

爬虫 URL 去重

爬虫是对 url 的去重，防止 url 重复采集，这也是我们这篇文章重点讲解的内容

垃圾邮件识别

从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱，将垃圾邮箱添加到布隆过滤器中，然后判断某个邮件是否是存在在布隆过滤器中，存在说明就是垃圾邮箱。

（编辑：ASP站长网）