不需要深度学习就能做的文本分类器

朴素贝叶斯文本分类应该是最简单的文本分类器了。它基于这么一个假设：在给定类别的文档中，所有的词都是独立无关的。

朴素贝叶斯做文本分类的原理如下：

令d代表输入文档，c代表文档所属类别。分类的目标是要 求在输入d文档的前提下属于类别c的概率$P(c|d)$，概率越高说明文档越有可能属于类别c。即

$widehat{c}=arg max limits_{c in C} P(c|d)$

利用贝叶斯公式$P(c|d)=frac{P(d|c) P(c)}{P(d)}$，由于$P(d)$指的是文档d出现的概率，它在整个数据集中都有相同的值，对每个类别的贡献都是相同的，所以我们可以将它忽略，于是可以得到下式

$widehat{c}=arg max limits_{c in C} P(d|c) P(c)$

因为文档d是由单词word组成的，所以可以进一步分解如下

$widehat{c}=arg max limits_{c in C} P(w_1,w_2,...,w_n|c) P(c)$

再利用朴素贝叶斯的假设，变为

$widehat{c}=arg max limits_{c in C} P(w_1,w_2,...,w_n|c) P(c)=arg max limits_{c in C} P(c) prod_{i=1}^{n} P(w_i|c) $

这里i表示word所在的位置

两边取log，避免溢出，就得到

$log widehat{c}=log arg max limits_{c in C} P(c) prod_{i=1}^{n} P(w_i|c) =arg max limits_{c in C} log P(c) + sum_{i=1}^{n} log P(w_i|c)$

接下来计算P(c)和P(w_i|c)。

P(c)表示某类数据在所有数据中出现的概率。在文本分类中，它表示c类型的文档在所有文档中出现的概率，即c类型的文档$N_c$占总文档数量$N_{doc}$的比例

$P(c)=frac{N_c}{N_{doc}}$

然后求$P(w_i|c)$:

$P(w_i|c)=frac{count(w_i,c)}{sum_{w in V} count(w,c)}$

$count(w_i,c)$为某类文档中w_i词出现的次数，V为所有文档中出现的词汇。

Tips:

未出现的词会导致概率为0，使得所有乘积为0。推荐的一种方法是使用加1（Laplace）平滑：

$P(w_i|c)=frac{count(w_i,c)+1}{sum_{w in V} (count(w,c)+1)}=frac{count(w_i,c)+1}{sum_{w in V} count(w,c)+|V|}$

python实现参考链接：https://github.com/webbery/NLPExperiments.git

伪代码实现如下：

 参考文献：

[1] Speech and Language Processing. Third Edition. Daniel Jurafsky, James H. Martin