布隆过滤器(Bloom Filter)

Hale Waihona Puke Baidu谢
国家 Tor、Google、Baidu 论文、博客作者 各位
如图S{x,y,z}集合中的每个元素，用3个hash函数映射到{1,…,18}范围内， 将相应的位置为1
在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的 元素误认为属于这个集合（false positive） 它通过极少的错误换取了存储空间的极大节省。 http://blog.csdn.net/jiaomeng/archive/2007/01/27/1495500.aspx
所以，p=1/2时错误率最小，也就是让一半的 位空着 m
k = ln 2 * n
需要对少位呢？(m)
推导过程略，直接上结果公式： (假设，允许的false rate为f’)
m = n * log 2 e * log 2 (1/f )
'
≈ n *1.44 * log 2 (1/f )
'
Hash算法
(Vector size)m
内存
(Hash num) k
X
N 50W 100W 300W 500W 1000W
FP1 958W 1917 W 5751 W 9585 W
FP2 1198 W 2396 W 7188 W
FP3 1677W 3355W
FP1 1M 2M
FP2 1M 2M 8M
FP3 1M 3M
f = (1 − e − kn / m ) k = (1 − p ) k
1 kn p = (1 − ) ≈ e − kn / m m
哈希函数个数k 哈希函数个数k
Hash函数的个数k不是 越大越好，k如何取， 才能使得f最小
f = (1 − e − kn / m ) k = (1 − p ) k ⇒ f = exp(k ln(1 − e −kn / m )) 令g = k ln(1 − e −kn / m )# # # 所以当g最小时，f最小 m ⇒ g = − ln( p ) ln(1 − p ) n
FP1 FP2 13 13 17 17 17 17 17
FP3 23 23 23 23 23
FP1
FP2
FP3
37091 3691 38 36958 3770 47 36585 3689 38 36569 3701 45 36533 3552 41
10064W 6M
11M 13
11981 W 16773W 11M 14M 19M 13
http://zh.wikipedia.org/zh/%E5%B8%83%E9%9A%8 6%E8%BF%87%E6%BB%A4%E5%99%A8 http://en.wikipedia.org/wiki/Bloom_filter
原理说明
采用包含m位的位数组存储， 将n个元素集合S={x1, x2,…,xn} ， 用k个相互独立 相互独立的哈希函数 相互独立 映射到{1,…,m}的范围中。 插入 查询
扩展：计数型Bloom Filter
标准Bloom Filter中，m长数组，每unit用1 位表示，只能表示[0, 1] 如果每个unit用多位表示，如3位，则可以 表示[0,1,…,7]
扩展：压缩Bloom Filter
由于标准Bloom Filter在f最小时，任意位为 0的概率为1/2，所以，为了更好的在网络 上传输Bloom Filter，可以对Bloom Filter进 行压缩，能得到约69.3%
K个hash越相互独立效果越好 可能常用的算法
Jenkins http://burtleburtle.net/bob/hash/doobs.html MurMur，比较常用hadoop中使用 http://murmurhash.googlepages.com/ 更多： http://www.partow.net/programming/hashfun ctions/
19170 W 23962 W 33547W 22M 28M 39M 13
Bloom Filter应用
网络爬虫，url 去重 垃圾邮件地址过滤 Proxy cache命中查询 Bigtable、Hadoop、Cassandra、Hbase Bigtable Hadoop Cassandra Hbase 封包路由 分布式环境中，用于资源定位
扩展：用于解决规模增长问题
拆分型布鲁姆过滤器 动态布鲁姆过滤器 可扩展布鲁姆过滤器
扩展：多维Bloom Filter
用多个标准布鲁姆过滤器表示多维集合的 单属性域。 多过滤器共同完成元素的表示及是否属于 集合的查询判断。
性能测试
进行3组实验，每组取5个N 取FP1 =0.01%，N=[50W, 100W, 300W, 500W,1000W] 取FP 2=0.001%，N=[50W, 100W, 300W, 500W,1000W] 取FP3 =0.00001%，N=[50W, 100W, 300W, 500W,1000W]
Bloom Filter
tuuboo@gmail.com 卢学裕@优酷
起源
（Bloom Filter）是1970年由布隆提出的 它实际上是一个很长的二进制向量和一系列随机映 射函数。 布隆过滤器可以用于检索一个元素是否在一个集合 中。 优点：空间效率和查询时间都远远超过一般的算法。 缺点：有一定的误识别率和删除困难。 两个百科：
w表示待查询元素 用相同的3个hash函数，将w映射到{1,…,18}范围内 如果每位都是1，则表示w在集合中，否表表示不在集合中
错误率估计
当集合S={x1, x2,…,xn}的所有元素都被k个哈 希函数映射到m位的位数组中时，这个位数 组中某一位还是0的概率是： (1-p)k就表示k次哈希都刚好选中1的区域， 即false positive rate: