一、机器学习的概念
1、什么是学习？
--从人的学习说起
--学习理论；从实践中总结
--在理论上推导；在实践中检验
--通过各种手段获取知识或技能的过程
2、机器怎么学习？
--处理某个特定的任务，以大量的“经验”为基础
--对任务完成的好坏，给予一定的评判标准
--通过分析经验数据，任务完成的更好了
3、机器学习的开端
4、机器学习的定义
机器学习 Machine Learning,ML)主要研究计算机系统对于特定任务的性能,逐步进行改善的算法和统计模型。通过输入海量训练数据对模型进行训练,使模型掌握数据所蕴含的潜在规律,进而对新输入的数据进行准确的分类或预测。是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸优化、算法复杂度理论等多门学科。专门硏究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
5、机器学习的过程
二、机器学习的主要分类
1、机器学习的主要分类
2、无监督学习
无监督学习( Unsupervised Learning)算法采用一组仅包含输入的数据,通过寻找数据中的内在结构来进行样本点的分组或聚类。算法从没有被标记或分类的测试数据中学习。无监督学习算法不是响应反馈,而是要识别数据中的共性特征;对于一个新数据,可以通过判断其中是否存在这种特征,来做出相应的反无监督学习的核心应用是统计学中的密度估计和聚类分析。
3、无监督学习的应用
4、监督学习
监督学习( Supervised Learning)算法构建了包含输入和所需输出的一组数据的数学模型。这些数据称为训练数据,由一组训练样本组成。监督学习主要包括分类和回归。当输出被限制为有限的一组值(离散数值)时使用分类算法;当输出可以具有范围内的任何数值(连续数值)时使用回归算法相似度学习是和回归和分类都密切相关的一类监督机器学习,它的目标是使用相似性函数从样本中学习,这个函数可以度量两个对象之间的相似度或关联度。它在排名、推荐系统、视觉识别跟踪、人脸识别等方面有很好的应用场景。
三、监督学习深入介绍
1、监督学习三要素
2、监督学习实现步骤
a、得到一个有限的训练数据集
b、确定包含所有学习模型的集合
c、确定模型选择的准则,也就是学习策略
d、实现求解最优模型的算法,也就是学习算法
e、通过学习算法选择最优模型
f、利用得到的最优模型,对新数据进行预测或分析
3、监督学习过程示例
4、模型评估策略
模型评估
训练集和测试集
损失函数和经验风险
训练误差和测试误差
模型选择
过拟合和欠拟合
正则化和交叉验证
5、训练集和测试集
我们将数据输入到模型中训练岀了对应模型,但是模型的效果好不好呢?我们需要对模型的好坏进行评估
我们将用来训练模型的数据称为训练集,将用来测试模型好坏的集合称为测试集。
训练集:输入到模型中对模型进行训练的数据集合。
测试集:模型训练完成后测试训练效果的数据集合。
6、损失函数
损失函数用来衡量模型预测误差的大小。
定义:选取模型f为决策函数,对于给定的输入参数Ⅹ,f(Ⅹ)为预测结果,Y为真实结果;f(X和Y之间可能会有偏差,我们就用一个损失函数( oss function)来度量预测偏差的程度,记作L(Y，fX)
损失函数是系数的函数
损失函数值越小,模型就越好
7、经验风险
8、训练误差和测试误差
9、过拟合和欠拟合
10、欠拟合
11、过拟合
12、模型的选择
13、正则化
14、奥卡姆剃刀
15、交叉验证
16、分类和回归
17、分类问题
18、精准率和召回率
简单总结来说、精准率就是推荐出的列表数目中，正确被推出所占推出列表数目的比例； 召回率就是被推出正确的数目占总共应该被正确推出的比例。
19、回归问题
四、模型求解算法（学习算法）
1、梯度下降算法
2、牛顿法和拟牛顿法（计算比较复杂，考虑到变化率的变化率，收敛速度更快）
