《统计学习方法》（第二版）1.3
1.3 统计学习方法的三要素
1.3.1 模型（model）
模型就是所要学习的条件概率分布或决策函数。
1.3.2 策略（strategy）
损失函数和风险函数
损失函数度量模型一次预测的好坏。
风险函数度量平均意义下模型预测的好坏。
损失函数loss function / 代价函数cost function
-
0-1损失函数
[L(Y, f(X)) = left{ egin{aligned} 1 && Y e f(X) \ 0 && Y = f(X) \ end{aligned} ight. ] -
平方损失函数（回归问题）
[L(Y, f(X)) = (Y-f(X))^2 ] -
绝对损失函数
[L(Y, f(X)) = |Y-f(X)| ] -
对数损失函数 / 对数似然损失函数
[L(Y, f(X)) = -logP(Y|X) ]
风险函数risk function
[R_{exp}(f)=E_p[L(Y,f(X))]=egin{equation*}
int_{X imes Y} L(y,f(x))P(x,y)dxdy
end{equation*}
]
经验风险empirical risk / 经验损失empirical loss
[R_{emp}(f)=frac{1}{N}sum_{i=1}^NL(y_i,f(x_i))
]
结构风险structural risk
[R_{srm}(f)=frac{1}{N}sum_{i=1}^NL(y_i,f(x_i))+lambda J(f)
]
第1项是经验风险，第2项是正则化项，(lambda ge 0)为调整两者之间关系的系数。
其中(J(f))为模型的复杂度。模型越复杂，(J(f))就越大。复杂度表示了对复杂模型的惩罚。
经验风险最小化（empirical risk minimization, ERM）
思想：经验风险最小的模型是最优的模型
e.g.极大似然估计
缺点：样本容量很小时，容易过拟合（over-fitting）
结构风险最小化（structural risk minimization, SRM）
思想：结构风险最小的模型是最优的模型；等价于正则化；在经验风险上加上表示模型复杂度的正则化项/罚项，结构风险小需要经验风险与模型复杂度同时都小。
e.g.贝叶斯估计中的最大后验概率估计
优点：防止过拟合，对训练数据以及未知的测试数据都有较好的预测。
1.3.3 算法（algorithm）
学习模型的具体计算方法。