机器学习的分类

一、监督学习，非监督学习，半监督学习和增强学习

监督学习

给机器的训练数据有“标记”或者“答案”

如MNIST数据集中指明每个数字图案代表的数字

常用的监督学习算法如下：

• k近邻
• 线性回归和多项式回归
• 逻辑回归
• SVM
• 决策树和随机森林

非监督学习

给机器的训练数据没有任何“标记”或者“答案”

非监督学习的意义：对没有“标记”的数据进行分类——聚类分析

非监督学习常用领域：

• 对数据进行降维处理

1. 特征提取：移除非必要、无关的特征
2. 特征压缩：多多个特征进行整合
3. 降维的意义：方便可视化（高维转为低维）

• 异常检测

1. 异常检测的目的：排除数据集中的与其他大多数据相背离的数据（如某个值过高或过低）

半监督学习

一部分数据有“标记”或者“答案”，另一部分则没有

通常都先使用无监督学习对数据进行处理，之后使用监督学习做模型的训练和预测

增强学习

根据周围环境的情况，采取行动，根据采取行动后的结果，再学习行动方式（如AlphaGo，自动驾驶）

二、在线学习和批量学习（离线学习）

批量学习

在进行学习并生成模型后不再对模型进行更新

优点：简单

问题：如何适应环境变化

    解决方案：定时重新批量学习

缺点：每次重新批量学习运算量巨大，在某些变化快的环境不允许

在线学习

优点：及时反映新的环境变化

问题：新的数据带来的不好的变化（如生产环境异常导致的错误数据）

    解决方案：需要加强对数据的监控

其他：也适用于数据量巨大，完全无法批量学习的环境

三、参数学习和非参数学习

参数学习

根据数据集为数据预测模型，如函数f(x)=a*x+b，一旦学习到了参数a和b，就不再需要原有的数据集

非参数学习

不对数据的模型进行过多的假设，非参数学习并不等于没有参数