1、求类别熵
2、求特征条件下的类别熵
3、选择类别熵大的特征作为分类特征
构建方法:
1、ID3
信息熵增益:
2、C4.5
信息熵增益率:
3、CART
Gini指数:只能用于切分二叉树,不会在每个步骤中删除使用的特征
过拟合:剪枝
1、求类别熵
2、求特征条件下的类别熵
3、选择类别熵大的特征作为分类特征
构建方法:
1、ID3
信息熵增益:
2、C4.5
信息熵增益率:
3、CART
Gini指数:只能用于切分二叉树,不会在每个步骤中删除使用的特征
过拟合:剪枝