机器学习的定义：
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
机器学习的应用实例：
1.学习关联性
在零售业中，机器学习的应用就是购物篮分析，任务就是发现顾客所购商品之间的关联性。
2.分类
2.1信贷行业，做好风险评估，以及做好银行贷款问题中的信用评分。还有就是做好预测，通过学习过去的数据，例如收入和存款等，然后预测此客户的是高风险客户还是低风险客户。
2.2 机器学习在模式识别中也有应用，其中之一就是光学字符识别（optional character recognition，OCR）,即从字符图像识别字符编码。
2.3 人脸识别，输入的是人脸图像，类是需要识别的人，并且学习程序应当学习人脸图像与身份之间的关联性。
2.4 医学诊断。输入的是患者的信息，而类是疾病。
2.5 语音识别。输入的是语音，类是可以读出的词汇。语音方面的难题就是每个人、每个地域的说话不一样。这是未来的研究领域。
2.6 生物测定学，使用人的生理和行为特征来识别或认证人的身份，需要集成来自不同形态的输入。生理特征的例子是面部图像、指纹、虹膜和手掌；行为特征的例子是：签字的力度、嗓音、步态和击键。
2.7 机器学习还可以进行压缩，用规则拟合数据，能够得到比数据更简单的解释，需要的存储空间更少，处理需要的计算更少。
2.8 离群点检测，即发现哪些不遵守规则的例外实例。
3. 回归
机器学习的应用例子：对机器人的导航，例如现在的自动驾驶汽车导航。
4. 非监督学习
在监督学习中，目标是学习从输入到输出的映射关系，其中的输出是正确值已经由指导者提供。
非监督学习是没有指导者，单纯只有输入数据，目标是发现输入的数据中的规律。
密度估计的概念：
输入空间存在某种结构，使得特定的模式比其他的模式更常出现，而我们希望知道哪些常发生，那些不常发生，在统计学中，称之为密度估计（Density estimation）
密度估计的方法：聚类———目标是发现输入数据的蔟和分组。
聚类的应用之一————图像压缩，输入实例是由RGB值表示的图像像素。
在文本聚类中，目标是把相似的文档分组。
5. 增加学习
机器学习程序就是应当能够评估策略的好坏程度，并从以往的动作序列中学习，以便能够产生策略，这种学习方法称之为增强学习（Reinforcement learning）算法。
参考书籍：《机器学习导论》