高斯分布属于指数分布族，线性最小二乘就是基于高斯分布。
线性最小二乘——最大似然——最小二乘。
高斯判别分析（GDA）针对的是特征向量 x 为连续值时的问题，而朴素贝叶斯（NB）针对的是特征向量 x 为离散值时的问题。
GDA 比 Logistic 回归有更严格的前置假设。当数据服从或大致服从正态分布时，使用 GDA 会达到更好的效果，因为 GDA 利用了更多的信息构建模型。但当数据不服从正态分布时，那么 Logistic 回归更有效，因为它作出更少的假设，构建的模型更加健壮，更加具有鲁棒性。生成学习还有另外一个好处，就是可以使用比判别学习模型更少的数据构建出强壮的模型。
虽然朴素贝叶斯假设是一个极强的假设，但算法在许多问题上依然运行很好。
参考资料：
1、http://blog.csdn.net/acdreamers/article/details/44663091
2、http://blog.csdn.net/column/details/ml-ng-record.html
3、http://www.cnblogs.com/jerrylead/tag/Machine%20Learning/