评估指标的局限性
-
准确率（Accuracy）
- ( ext{Accuracy} = dfrac{n_{correct}}{n_{total}})
- 样本不均衡时，不准确
- 改进：平均准确率
-
精确率(Precision)和召回率(Recall)
-
精确率：分类正确的正样本个数占分类器判定为正样本的样本个数比例
-
召回率：分类正确的正样本个数占真正的正样本个数的比例
-
(Precision = (TP) / (TP + FP))
-
(Recall = TP / (TP + FN))
-
(F1 = (2 imes p imes r) / (p + r)) 调和平均数
-
-
均方根误差（Root Mean Square Error, RMSE)
-
常用来衡量回归模型
-
易受离群点影响(基于欧式距离)
-
改进：平均绝对百分比误差（MAPE）
[MAPE = sum_{i=1}^n|frac{y_i - hat{y}_i}{y_i}| imes frac{100}{n} ]
-
PR曲线和ROC曲线
-
PR曲线
-
排序问题，通常没有确定阈值确定正负样本
-
认为模型Top N结果就是模型判定的正样本，然后计算前N个位置上的准确率Precision@N和Recall@N
-
-
ROC曲线（受试者工作特征曲线）
- 纵坐标：真阳率(True Positive Rate)。(TPR = TP / P)
- 横坐标：假阳率(False Positive Rate)。 (FPR = FP / N)
- 二值分类问题中，模型输出预测为正样本的概率。将样本按照概率排序，不断移动截断点生成曲线上的关键点。截断点就是区分正负样例预测结果的阈值。
-
AUC
- AUC越大，说明模型把真正的正样本排在前面，性能越好
-
PR曲线与ROC曲线比较
- ROC能尽量降低不同数据集带来的干扰，形状比较稳定
- PR曲线适用于特定数据集，更直观
余弦距离
- 用余弦相似度表示余弦距离
- 欧氏距离用来研究数值的绝对差异（相同维度差异），余弦距离用来研究相对差异（比如各维度的差异）
- 在单位圆上有：(||A-B||_2 = sqrt{2(1-cos(A,B))})
- 余弦距离满足正定性、对称性，不满足三角不等式（可通过单位圆举出反例）
- KL距离不满足对称性和三角不等式
A/B测试
- 原因：
- 离线评估可能过拟合
- 线上工程环境不同
- 某些商业指标在离线评估时无法计算
- 方法：
- 用户分桶：实验组和对照组
- 样本的独立性和采样方式的无偏性
模型评估方法
- Holdout检验：划分训练集和测试集
- 交叉检验
- 留p检验
- 自助法：当样本数很大时，大约有36.8%样本从未选择过，可用作验证集
超参数调优
- 网格搜索，局部最优解
- 随机搜索，局部最优解
- 贝叶斯优化方法：
- 首先根据先验分布，设置一个搜集函数，然后采样测试目标函数，并利用这个信息更新目标函数的先验分布。最后，算法测试由后验分布给出的最值最可能出现的位置的点
- 探索+利用的平衡
过拟合和欠拟合
- 过拟合
- 训练集效果好，泛化能力差
- 降低过拟合：
- 获取更多训练数据
- 降低模型复杂度
- 增加正则化
- 集成学习，降低单一模型过拟合风险
- 欠拟合
- 训练集和测试集效果都很差
- 降低欠拟合
- 添加更多特征
- 增加模型复杂度
- 减小正则化系数