决策树算法小结(二) C4.5原理及代码实现

上一节(ID3原理及代码实现)讲到的ID3算法存在不足，用信息增益作为特征选择标准会偏向取值较多的特征，因为特征的取值越多（该特征数据分的更细）即纯度更高，不确定性(条件熵越小(H(D|A)))更低，由于(H(D))是一定的，因此信息增益更大，所以偏向取值更多的特征。使用信息增益比可以矫正这一问题，信息增益比就是特征选择的另一准则——C4.5。

1 C4.5原理

信息增益比表达式：

[g_{R}(D,A)=frac{g(D,A)}{H_{A}(D)} ]

其中(D)是训练数据集，(A)是样本特征，({H_{A}(D)})是特征熵，表达式为：

[{H_{A}(D)}=-sum_{i=1}^{n}frac{|D_{i}|}{|D|}log_{2}frac{|D_{i}|}{|D|} ]

(n)表示特征(A)的类别个数，(D_{i})表示样本子集，(|D_{i}|) 表示(D_{i})样本子集的个数。信息增益比本质是在信息增益的基础上乘一个惩罚参数。特征个数较多时，惩罚参数较小；特征个数较少时，惩罚参数较大。
惩罚参数：数据集(D)以特征(A)作为随机变量的熵的倒数，即：将特征A取值相同的样本划分到同一个子集中。

C4.5算法对ID3算法进行了改进，用信息增益比来选择特征。
决策树C4.5算法

输入: 训练数据集(D)，特征集(A)，阈值$varepsilon $；

输出: 决策树(T)

step1 若(D)中所有实例属于同一类(C_{k})，则(T)为单结点树，并将类(C_{k})作为该结点的类标记，返回(T)；

step2 若(A=Phi)，则(T)为单结点树，并将(D)中实例数最大的类(C_{k})作为该结点的类标记，返回(T)；

step3 否则计算特征集(A)中各特征对(D)的信息增益比，选择信息增益最大的特征(A_{g})；

step4 如果(A_{g})的信息增益小于阈值(varepsilon)，则置(T)为单结点树，并将(D)中实例数最大的类(C_{k})作为该结点的类标记，返回(T)；

step5 否则，对(A_{g})的每一个取值(A_{gi})将对应的样本输出(D)分成不同的类别(D_{i})，每个类别产生一个子节点，对应特征值是(A_{gi})，返回增加了结点的树；

step6 对所有的子结点，以(D_{i})为训练集，以(A-{A_{g}})为特征集，递归调用(1)-(5)，得到子树(T_{i})，返回(T_{i}).

2 代码实现

这里只给出信息增益比特征选择部分，其他代码与ID3原理及代码实现一致。

def chooseBestFeatureToSplit(dataSet):
    numFeatures = len(dataSet[0]) - 1  # the last column is used for the labels
    baseEntropy = calcShannonEnt(dataSet)
    bestInfoGainRatio = 0.0;
    bestFeature = -1
    for i in range(numFeatures):  # iterate over all the features
        featList = [example[i] for example in dataSet]  # create a list of all the examples of this feature
        uniqueVals = set(featList)  # get a set of unique values
        newEntropy = 0.0
        splitInfo = 0.0
        for value in uniqueVals:
            subDataSet = splitDataSet(dataSet, i, value)
            prob = len(subDataSet) / float(len(dataSet))
            newEntropy += prob * calcShannonEnt(subDataSet)
            splitInfo += -prob * log(prob, 2)
        infoGain = baseEntropy - newEntropy  # calculate the info gain; ie reduction in entropy
        if (infoGain == 0): #fix the overflow bug
            continue
            infoGainRatio = infoGain / splitInfo
        if (infoGainRatio > bestInfoGainRatio):  # compare this to the best gain so far
            bestInfoGainRatio = infoGainRatio  # if better than current best, set to best
            bestFeature = i
    return bestFeature  # returns an integer

控制台运行效果：

>>> import mytrees
>>> imp.reload(mytrees)
<module 'mytrees' from 'D:\Python\Mechine_learning\Tree\mytrees.py'>
>>> import treePlotter
>>> myTree = treePlotter.retrieveTree(0)
>>> treePlotter.createPlot(myTree)

3 C4.5小结

缺点：信息增益比偏向取值较少的特征
原因： 当特征取值较少时，({H_{A}(D)})的值较小，因此其倒数较大，因而信息增益比较大。因而偏向取值较少的特征。
使用信息增益比：基于以上缺点，并不是直接选择信息增益率最大的特征，而是先在候选特征中找出信息增益高于平均水平的特征，然后在这些特征中再选择信息增益率最高的特征。