Bhattacharyya距离
在统计学中,Bhattacharyya距离(以下称巴氏距离)测量的是两个离散或连续概率分布的相似性。计算方式和Bhattacharyya系数关系很密切。两种计算方式都以A. Bhattacharyya名字命名,Bhattacharyya是一位30年代在印度统计研究所工作的统计学家。巴氏系数可用来对两组样本的相关性进行测量。这一方法常用来作分类器算法。[1]
数学定义
-离散概率分布
对于在X数域上的两个离散概率分布p和q,巴氏距离定义为[2]:
DB(p,q) = -ln(BC(p,q))
其中
BC(p,q) = ∑√p(x)q(x)
BC被称作Bhattacharyya系数(巴氏系数)
0≤BC≤1q且0≤DB≤∞
-连续概率分布
在连续情形中,Bhattacharyya系数如下定义:
BC(p,q) = ∫√p(x)q(x)dx
0≤BC≤1q且0≤DB≤∞
两种情形中,巴氏距离DB均不满足三角不等式
Bhattacharyya系数
Bhattacharyya系数[3](Bhattacharyya Coefficient, 巴氏系数)是对两个统计样本的重叠量的近似计算。巴氏系数可用来对两组样本的相关性进行测量。
计算巴氏系数涉及到对该两个样本的重叠部分进行基本形式的积分。两个样本值的积分被分成指定数目的部分。而每一个样本的每一个部分的成员数被用于下式中:
Bhattacharyya = ∑{i=1|n}√(∑ai·∑bi)
其中,a,b为两个样本,n是分块数,ai, bi分别是在a, b中第i部分的成员数。
这样一来,这个式子就会随着因某块中有两个样本的公共成员而变大,也会随着某块中有一大片重叠的样本成员而变大。分块数的选定依赖于样本中的成员数量;如果分块太少会因过估了重叠区域而失去精确性,如果分块太多会因为造成空块而失去精确性。
如果两个样本完全没有重叠,巴氏系数将会等于0,因为每一个分块都将被0乘。这意味着完全分离的样本不能被巴氏系数单独测定出来。
参考资料
1
2
Bhattacharyya, A. (1943). "On a measure of divergence between two statistical populations defined by their probability distributions". Bulletin of the Calcutta Mathematical Society 35: 99–109. MR00103
http://www.jstor.org/stable/25047882
3
扩展阅读:
1
Kailath, T. (1967). "The Divergence and Bhattacharyya Distance Measures in Signal Selection". IEEE Transactions on Communication Technology 15 (1): 52–60. doi:10.1109/TCOM.1967.1089532.
2
H氏距离 http://en.wikipedia.org/wiki/Hellinger_distance
3
D. Comaniciu, V. Ramesh, P. Meer: Real-Time Tracking of Non-Rigid Objects using Mean Shift, BEST PAPER AWARD, IEEE Conf. Computer Vision and Pattern Recognition (CVPR'00), Hilton Head Island, South Carolina, Vol. 2, 142-149, 2000
4
一些属性列表,请查看: http://www.mtm.ufsc
转自http://hi.baidu.com/useiee/blog/item/4b28ab0faf6c40306159f371.html