1、模型
模型，即函数。根据给定输入，通过相应函数映射出一个输出值。例如，在线性回归模型中，输入与输出之间即为线性关系，模型输出即为预测值或估计值，与真实值有一定偏差。
2、模型训练
在一大堆样本数据中，找到一个能很好的根据样本输入估计得到样本输出的函数的过程即为模型训练，一个好的训练模型会使得函数输出结果与样本数据对应的实际结果偏差尽可能的小。
模型训练涉及以下三个要素。
（1）训练数据
训练数据即一系列真实数据，包含一系列条件以及结果，其中条件即为模型输入也称特征，结果即为模型输出也称标签。
（2）损失函数
在模型训练过程中，需要判断训练出的模型以训练数据为输入的情况下得到的结果与真实结果之间的误差。通常选择一个非负数作为误差，越小即误差越小.将衡量误差的函数称作损失函数。
（3）优化算法
当模型和损失函数形式较为简单时，误差最小化问题的解可以直接用公式表达出来，此时这类解叫做解析解，可以解决我们的需要--找到满足最小的误差的相关值。然而，在大多数深度学习模型中，没有解析解，只能通过优化算法有限次迭代模型参数来尽可能的降低损失函数的值，这类解叫做数值解。
数值解的优化算法中，应用广泛的是小批量随机梯度下降，即选取一组模型参数的初始值，对参数进行多次迭代，使每次迭代尽可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量，然后求小批量中数据样本的平均损失有关模型参数的导数，最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。其中小批量和正数（或正数中的部分）都是人为设置的，叫做超参数，在模型训练过程中的调参既是调节超参数。
3、模型预测
模型训练完成之后，即可根据模型在优化算法停止时，得到的参数结合测试集的输入数据映射出一个输出，即为根据模型预测出的结果。