本文翻译自kaggle learn，也就是kaggle官方最快入门kaggle竞赛的教程，强调python编程实践和数学思想（而没有涉及数学细节），笔者在不影响算法和程序理解的基础上删除了一些不必要的废话，英文有的时候比较啰嗦。
一.什么是模型验证
模型验证在机器学习当中非常重要，因为有的时候拟合出来的模型误差非常大而自己却不知道，就会造成很大的失误。在kaggle竞赛入门（二）当中，我们利用决策树算法已经拟合出来了一个模型，那么如何去验证这个模型的准确性呢？那就是使用真实值和预测值的差值的绝对值来进行衡量,衡量一个点的误差的代码如下：
error=actual−predicted
但是我们的数据集当中有很多的点（数据），该怎么办呢？那就是对每一个点都做这样的减法，然后把所有error都加起来求出平均值，这个方法的简写叫MAE,因为它的英语是：Mean Absolute Error（平均绝对值误差）。为了能够计算MAE,我们首先需要一个模型，我们生成这个模型的代码如下（运用了决策树算法）：
# Data Loading Code Hidden Here import pandas as pd # Load data melbourne_file_path = '../input/melbourne-housing-snapshot/melb_data.csv' melbourne_data = pd.read_csv(melbourne_file_path) # Filter rows with missing price values filtered_melbourne_data = melbourne_data.dropna(axis=0) # Choose target and features y = filtered_melbourne_data.Price melbourne_features = ['Rooms', 'Bathroom', 'Landsize', 'BuildingArea', 'YearBuilt', 'Lattitude', 'Longtitude'] X = filtered_melbourne_data[melbourne_features] from sklearn.tree import DecisionTreeRegressor # Define model melbourne_model = DecisionTreeRegressor() # Fit model melbourne_model.fit(X, y)
一旦我们建立了这个模型，我们就可以计算它的MAE了，计算MAE的函数是：mean_absolute_value(原始数据集当中的y , 预测之后的y),因此计算它的代码如下：
from sklearn.metrics import mean_absolute_error predicted_home_prices = melbourne_model.predict(X) mean_absolute_error(y, predicted_home_prices)
最后输出的结果是：
434.71594577146544
二.样本内得分
刚刚我们进行计算的是样本内得分，也就是利用原始的数据集和预测的值进行比较，而没有将我们的数据集分为训练集和验证集进行测试。现在我们需要将我们的数据集分成两个集合，一个是训练集用来训练模型，一个是验证集，用于衡量我们模型训练后的准确度如何。用sklearn将数据分类的代码如下：
from sklearn.model_selection import train_test_split # split data into training and validation data, for both features and target # The split is based on a random number generator. Supplying a numeric value to # the random_state argument guarantees we get the same split every time we # run this script. train_X, val_X, train_y, val_y = train_test_split(X, y, random_state = 0) # Define model melbourne_model = DecisionTreeRegressor() # Fit model melbourne_model.fit(train_X, train_y) # get predicted prices on validation data val_predictions = melbourne_model.predict(val_X) print(mean_absolute_error(val_y, val_predictions))
其中的train_X,train_y表示的是分类后训练集的样本，val_x和val_y表示的是验证集的样本，为什么变量叫开头是val?因为验证集的英语是validation data。我们将数据进行分类的时候完全是随机分配的，没有任何规律的，其中的random_state随机种子为0，也可以为其他数字。最后这一步之后我们用验证集去输出MFA,结果是：
259556.7211103938
这个结果和之前我们之前将所有数据当成训练集训练得到的MAE比起来实在是太大了！！！这是为什么呢？因为这说明我们之前所用的决策树算法不太好，或者是给决策树算法选择的特征进行拟合模型时，预测房价所用到的特征没有选择好，比如
'Rooms', 'Bathroom', 'Landsize', 'BuildingArea', 'YearBuilt', 'Lattitude', 'Longtitude'这些特征可能不足以来预测房价。