在数据分析中经常会对不同的模型做判断
一、混淆矩阵法
作用：一种比较简单的模型验证方法，可算出不同模型的预测精度
将模型的预测值与实际值组合成一个矩阵，正例一般是我们要预测的目标。真正例就是预测为正例且实际也是正例（预测正确）；假反例是实际是正例但模型错误预测成反例（即预测错误）；假正例是预测是模型预测是正例，但实际是反例；真反例是预测是反例，实际也是反例。
查准率=真正例/假正例+真正例（真正率占我们预测是正例的比例）
查全率=真正例/真正例+假反例（真正率占我们实际是正例的比例）
混淆矩阵运用：
以下以回归模型为例，探索混淆矩阵的使用
# 设定五折交叉验证规则 train_control<-trainControl(method = 'cv',number = 5) # 对数据集分成 set.seed(1234)# 在任何随机事件之前都需要设定随机种子 index<-createDataPartition(good_data$left,p=.7,list = F) head(index) traindata<-good_data[index, ] testdata<-good_data[-index, ] # 建立回归树模型 rpart_model1<-train(left ~ .,data=traindata, trControl=train_control,method='rpart') # 将测试集导入回归树模型，求得测试结果 pred_rpart<-predict(rpart_model1,testdata[-7]) # 利用混淆矩阵对回归树模型进行评估 con_rpart<-table(pred_rpart,testdata$left) # 混淆矩阵只用测试集，与训练集无关 con_rpart # 求得混淆矩阵结果
pred_rpart 0 1
0 2246 72
1 51 528
对应查准率为：528/51+528=91.19%
二、roc曲线
模型验证，根据学习器的结果对样例排序，逐个把样本作为正例进行预测，每次计算出两个重要的值，分别以它们为横纵坐标作图，即得到ROC曲线。
###################ROC曲线 ################# # roc函数的值必须是数值型，而pred_rpart为数值型 pred_rpart<-as.numeric(as.character(pred_rpart))# 因子型需要转字符型然后转数值 roc_rpart<-roc(testdata$left,pred_rpart)# 后续绘图需要用的信息 # 确定ROC曲线的横纵轴 Specificity<-roc_rpart$specificities # 真反利率 作为X轴 Sensitivity<-roc_rpart$sensitivities # 查全率 作为Y轴 # 开始绘制ROC曲线图 ROC_line<-ggplot(NULL,aes(x=1-Specificity,y=Sensitivity))+ geom_line()+ geom_abline()+ annotate('text',x=.3,y=.6,label = paste('AUC=',round(roc_rpart$auc, 3)))+ theme_bw() ROC_line
