分类算法
已知集合x，我们把这个集合称为特征集合，其中每一个元素是一个待分类项。
已知集合y，我们把这个集合称为类别集合，其中的每一个元素是一个类别。
我们现在要找到一个函数f，使得y=f(x)，即x集合中的每一个待分类项，都能通过f函数找到对应的分类y。
分类算法的任务就是找到这个f函数。
朴素贝叶斯算法
朴素贝叶斯是根据贝叶斯公式得出的。
贝叶斯公式：
P(Ai|B) = P(B|Ai)P(Ai) /P(B)
根据分类算法可知：
我们的目的就是找到一个f函数（此时这个f函数就是朴素贝叶斯），使得任意x特征有对应的y类别。
即通过朴素贝叶斯找到“P(类别|特征)”，解释一下就是找到“当某某特征发生的情况下，某某类别也发生的概率”。
所以套用贝叶斯公式可得：
P(类别|特征) = P(特征|类别)P(类别) /P(特征)
朴素贝叶斯算法有一个大前提就是：所有特征条件都是相互独立的。
下面我们就来解释一下这个前提的意义。
假设现在小明要出去玩：
有特征集合x是表示当天的一些情况，有{天气，作业，心情}
有结果类别集合y代表最后到底去不去，有{去，不去}
那么天气可以细分为：好、中、差
作业可以细分为：多、少
心情可以细分为：好、坏
如果天气、作业、心情是相互“不独立”的，
那么特征就有3*2*2=12种组合情况。
就需要一一统计这12种情况的概率
即{天气好、作业多、心情好}、{天气好、作业多、心情坏}、{天气好、作业少、心情好}······一共12种。
在实际问题中特征往往要比这还多，很多组合特征可能根本没法得到。
如果假定天气、作业、心情相互独立。
那么就有P{天气，作业，心情} = P{天气}P{作业}P{心情}
由此，我们只需要找到各自的子特征即可，即{天气好}，{天气中}、{天气差}······一共7种。
特征概率的获取难度大大降低。
如果只是普通贝叶斯，那么公式为：
P(去玩 | 天气中，作业多，心情好) = P(天气中，作业多，心情好 | 去玩)P(去玩) / P(天气中，作业多，心情好)
由上面这个公式可以看出来：
我们为了求“在天气中，作业多，心情好”这样的前提下，小明出去玩的概率。
需要知道P(天气中，作业多，心情好)，即：同一天天气中，作业多，心情好的概率。
以及P(天气中，作业多，心情好 | 去玩)P(去玩)，即：小明出去玩时，天气中，作业多，心情好的概率。
自然，要提前找到这些特征概率是十分困难的。
但如果用朴素贝叶斯算法解这个问题，那么作业、天气、心情就假定成相互独立的了。
公式变为：
P(去玩 | 天气中，作业多，心情好) = P(天气中|去玩)P(作业多|去玩)P(心情好|去玩)P(去玩) / P(天气中)P(作业多)P(心情好)
由公式我们可以看出我们找到前置概率的难度下降了很多。
变成了找到单一特征条件概率，如 P(天气中)、P(天气中|去玩)
所以朴素贝叶斯相比贝叶斯的最大区别就是，加上了个条件的独立性假设，大大减少了参数的假设数量。