Bloom Fileter学习总结

因为工作上要对大量小票数据进行无监督分类，考虑到内存和运算速度的问题，采用巴隆滤波映射对小票的数据进行了处理，工作内容就不详细说了，等项目做完的。

现在谈谈BF（bloom fileter的使用心得

首先，BF是一种基于多哈希映射的转换，随机或者说选取K个质数作为初始种子，这就有了K个哈希映射。一段字符串，每个种子可以得到一个哈希映射，这样这个字符串就对应了多个哈希值，可以降低不同字符串重复覆盖的误识别问题。下面用部分代码举例：

public int hash(String value) {

int result = 0;

int len = value.length();

for (int i = 0; i < len; i++) {

result = seed * result + value.charAt(i);

}

return (cap - 1) & result;

}

这是一个种子（seed）对应的字符串哈希值，然后做个for循环遍历种子数组（seeds），得到字符串对应所有种子的多个哈希值，种子数组举例：

private static final int[] seeds = new int[] { 5, 7, 11, 13, 31, 37, 61 };

一般选取质数，个数看识别要求的精度了，具体请参照数学之美中对巴隆滤波的详细讲解，记着里面有个表格列举了部分种子个数的误识别概率，并做了详细推导说明

而之所以计算快，就是因为将大量字符串的比对有效的转换为了bit的比对计算，bit是大数据计算常用的一种数据类型（话说我是学图像的，有的话可能不准确，见谅，这是和一些做数据挖掘的同学闲聊时有些印象，而且我自己工作中如果用java处理图像经常转为bitset类型，一些计算的速度很快），好吧，谁用谁知道。。。

此外，需要注意的是，传统BF不能进行字符串的删除操作，因为不同字符串可能有少量重复元素，如果删除一个字符串的元素，会影响有交叉元素的其他字符串。如果一定要使用字符串的删除功能，可以试试CBF(Count，计数巴隆滤波），顾名思义，就是把bit的0，1记录元素，改为记录这个位置元素出现1的次数，删除时把统计次数减一就行了。

下面贴下整体实现代码，这个就是非原创了，但是具体出处记不清了，因为是一个月前的事了，今天有时间所以对做的项目做个阶段性总结，有知道的请联系我

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.BitSet;
import java.util.List;


public class SimpleBloomFilter {
private static final int DEFAULT_SIZE = 2 << 24;
private static final int[] seeds = new int[] { 5, 7, 11, 13, 31, 37, 61 };
private BitSet bits = new BitSet(DEFAULT_SIZE);
private SimpleHash[] func = new SimpleHash[seeds.length];


public SimpleBloomFilter() {
for (int i = 0; i < seeds.length; i++) {
func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]);
}
}


public void add(String value) {
for (SimpleHash f : func) {
bits.set(f.hash(value), true);
}
}


public boolean contains(String value) {
if (value == null) {
return false;
}
boolean ret = true;
for (SimpleHash f : func) {
ret = ret && bits.get(f.hash(value));
}
return ret;
}


// 内部类，simpleHash
public static class SimpleHash {
private int cap;
private int seed;


public SimpleHash(int cap, int seed) {
this.cap = cap;
this.seed = seed;
}


public int hash(String value) {
int result = 0;
int len = value.length();
for (int i = 0; i < len; i++) {
result = seed * result + value.charAt(i);
}
return (cap - 1) & result;
}
}

这是几种开源的java代码，我感觉最适用的，没写test，额下面关于项目部分以后补上吧。