学习笔记——朴素贝叶斯法

朴素贝叶斯(naive Bayes)法属于生成模型：还原出联合概率分布(P(X,Y))，它反映了输入与输出之间的概率关系，也就是生成数据的机制，然后基于这套机制进行分类。朴素贝叶斯法基于贝叶斯定理与特征条件独立假设的分类方法。

基本原理

---

输入空间(mathcal{X} subseteq R^n)
输出空间(mathcal{Y} = { c_1, c_2, ..., c_K })
训练数据集(T = { (x_1,y_1), (x_2,y_2), ..., (x_N,y_N) })是由(P(X,Y))独立同分布产生 的。

学习联合概率分布(P(X,Y))，具体就是学习先验概率分布：

[P(Y=c_k), k = 1, 2, ..., K ]

和条件概率分布（根据条件独立性的假设，没有这个假设的话不好化简）：

[P(X=x | Y=c_k) = P(X^{(1)} = x^{(1)},...,X^{(n)} = x^{(n)} | Y = c_k) = prod_{j=1}^n P(X^{(j)} = x^{(j)} | Y=c_k) ]

然后在进行分类时，对给定的输入(x)，计算后验概率：

[P(Y=c_k | X=x) = frac{P(X=x|Y=c_k)P(Y=c_k)}{sum_k P(X=x|Y=c_k) | P(Y=c_k)} ]

采用后验概率最大化准则（对应0-1损失函数的期望风险最小化准则），从所有的(P(Y=c_k | X=x))中选一个最大的，上面那个公式里的分母总是不变的，所以可以化简为：

[y = arg max_{c_k} P(X=x|Y=c_k)P(Y=c_k) = arg max_{c_k} P(Y=c_k) prod_{j=1}^n P(X^{(j)} = x^{(j)} | Y=c_k) ]

朴素贝叶斯法的参数估计

---

极大似然估计

先验概率(P(Y=c_k))的极大似然估计是((I(cdot))是指示函数)：

[P(Y=c_k) = frac{1}{N} sum_{i=1}^N I(y_i=c_k), k=1,2,...,K ]

设第(j)个特征(x^{(j)})可能取值的集合为({ a_{j1},a_{j2},...,a_{jS_j} })
条件概率(P(X^{(j)} = a_{jl} | Y=c_k))的极大似然估计是：$$P(X^{(j)} = a_{jl} | Y=c_k) = frac{sum_{i=1}^N I(x_i^{(j)} = a_{jl}, y_i = c_k)}{sum_{i=1}^N I(y_i = c_k)}$$ $$j = 1,2,...,n; l=1,2,...,S_j; k=1,2,...,K$$

朴素贝叶斯算法

• 输入：训练数据集(T = { (x_1,y_1), (x_2,y_2), ..., (x_N,y_N) })；实例(x)
• 实例(x)的分类

1. 计算先验概率及条件概率

$$P(Y=c_k) = frac{1}{N} sum_{i=1}^N I(y_i=c_k), k=1,2,...,K$$$$P(X^{(j)} = a_{jl} | Y=c_k) = frac{sum_{i=1}^N I(x_i^{(j)} = a_{jl}, y_i = c_k)}{sum_{i=1}^N I(y_i = c_k)}$$ $$j = 1,2,...,n; l=1,2,...,S_j; k=1,2,...,K$$

2. 对于给定的实例(x)，计算后验概率：

$$P(Y=c_k) prod_{j=1}^n P(X^{(j)} = x^{(j)} | Y=c_k)$$

3. 确定实例(x)的类，即选择最大的那个后验概率：

$$y = arg max_{c_k} P(Y=c_k) prod_{j=1}^n P(X^{(j)} = x^{(j)} | Y=c_k)$$

贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的情况，这会影响到后验概率的计算结果，使分类产生偏差，解决这一问题的方法是采用贝叶斯估计，条件概率的贝叶斯估计是：

[P_{lambda}(X^{(j)} = a_{jl} | Y=c_k) = frac{sum_{i=1}^N I(x_i^{(j)} = a_{jl}, y_i = c_k)+lambda}{sum_{i=1}^N I(y_i = c_k) + S_j lambda} ]

就是在原来的基础上加上个(lambda)，当(lambda=0)时就是极大似然估计。常取(lambda = 1)，这时称为拉普拉斯平滑(Laplace smoothing)。
同样，先验概率的贝叶斯估计是：

[P_{lambda}(Y=c_k) = frac{sum_{i=1}^N I(y_i=c_k) + lambda}{N+Klambda} ]

(注：本文为读书笔记与总结，侧重算法原理，来源为[《统计学习方法》](http://book.douban.com/subject/10590856/)一书第四章)
作者：[rubbninja](http://www.cnblogs.com/rubbninja/) 出处：[http://www.cnblogs.com/rubbninja/](http://www.cnblogs.com/rubbninja/) 关于作者：目前主要研究领域为机器学习与无线定位技术，欢迎讨论与指正！