机器学习实战总结

1. 分类

逻辑回归

　　使用线性回归来预测z的值，放入逻辑回归分类器，判断分类。（注意虽然名字叫回归，其实是一个分类器）

决策树

　　决策树分类，从根节点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到子节点，，这时，每一个子节点代表该特征取值，如此递归分配，直至叶节点，最后将实例分配到叶节点的类中。

https://www.cnblogs.com/Ray-0808/p/10758164.html

贝叶斯分类（Bayes）

　　基于贝叶斯定理与特征条件独立假设的分类。首先基于特征独立条件独立假设学习输入/输出的联合概率分布，然后基于该模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

https://www.cnblogs.com/Ray-0808/p/10773111.html

支持向量机（SVM）

　　支持向量机是一种二分类模型，它的基本想法是基于训练集D在样本空间中找到一个划分超平面，将不同的样本分开。学习策略即为间隔最大化。

https://www.cnblogs.com/Ray-0808/p/10798320.html

k均值聚类（KNN）

　　是一种无监督聚类算法，找出 k 个聚类中心，使得各类的聚类平方和最小。

https://www.cnblogs.com/Ray-0808/p/10641504.html

2. 回归

线性回归

https://www.cnblogs.com/Ray-0808/p/10917304.html

树回归

　　CART 分类与回归树，决策树的生成就是递归地构建二叉决策树的过程，对回归树用平方误差最小准则，对分类树用基尼指数最小化准则，进行特征选择，生成二叉树。

https://www.cnblogs.com/Ray-0808/p/10939465.html

3. 集成学习

boosting

　　代表有adaboost，利用一系列弱分类器，按权值线性组合成一个强分类器。

https://www.cnblogs.com/Ray-0808/p/10910119.html

bagging

　　并行式集成学习方法最著名的代表。给定包含 m 个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集（自主采样法），使得下次采样时该样本仍有可能被选中，这样经过 m 次随机采样操作，我们得到含 m 个样本的采样集，初始训练集中约有 63.2%的样本出现在采样集中。照这样，我们可以采样出 T 个含 m 个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器结合。

RF 随机森林

　　随机森林是 bagging 的一个变体，其以决策树为基学习器构建 bagging 集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。具体来说，传统决策树在选择划分时是在当前节点的属性集合中选择一个最优属性，而在 RF 中，对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含 k 的属性子集，然后在再从这个子集中选择一个最优属性划分。