1、除了可以根据监督／无监督的标准对机器学习系统分类，我们还可以从批量学习和在线学习进行分类。
批量学习
在批量学习中，系统无法进行增量学习，也就是说，必须使用所有可用数据进行训练。由于需要大量时间和计算资源，所以通常情况下都是离线完成的。即先训练系统，然后将其投入生产环境。
当数据集更新的时候，就需要使用全套数据集进行重新训练，可能要花上好几个小时。假如面对的是海量数据，甚至可能无法再应用批量学习算法。
在线学习
在在线学习中，可以循序渐进地给系统提供训练数据，逐步积累学习成果。提供训练数据的方式可以是单独的，也可以是小批量的。
如果是需要接收持续的数据流的系统（如预测股票价格），或者是计算资源有限，都可以使用在线学习。对于超大数据集，在线学习算法也同样适用（这称为核外学习）
在线学习系统的一个重要参数是其适应不断变化的数据的速度，这就是学习率。
2、另一种对机器学习系统进行分类的方法是看它们如何泛化，即通过给定的训练示例，在它此前并未见过的示例上进行泛化。泛化的主要方法有两种：基于实例的学习和基于模型的学习。
基于实例的学习
系统先完全记住学习示例，然后通过某种相似度度量方式将其泛化到新的实例。
基于模型的学习
构建示例的模型，然后使用该模型进行预测。
- 学习数据
- 选择模型
- 使用训练数据进行训练（搜索模型参数值，从而使成本函数最小化）
- 应用模型对新示例进行预测
机器学习系统最常见的类别介绍的差不多了，下次我们看看机器学习过程中有哪些主要挑战。