文本分类之特征选择
1 研究背景
对于高纬度的分类问题，我们在分类之前一般会进行特征降维，特征降维的技术一般会有特征提取和特征选择。而对于文本分类问题，我们一般使用特征选择方法。
- 特征提取：PCA、线性判别分析
- 特征选择：文档频数、信息增益、期望交叉熵、互信息、文本证据权、卡方等
特征选择的目的一般是：
- 避免过拟合，提高分类准确度
-
通过降维，大大节省计算时间和空间
特征选择基本思想：
1）构造一个评价函数
2）对特征空间的每个特征进行评分
3）对所有的特征按照其评估分的大小进行排序
4）从中选取一定数目的分值最高的特征项
2 常用特征选择方法
|
c |
~c |
|
|
t |
A |
B |
|
~t |
C |
D |
2.1文档频率(Document Frequency,DF)
优点：实现简单，计算量小。
缺点：基于低频词不含分类信息或者只包含极少量分类信息，没有考虑类别信息，但实际并非如此。
2.2 互信息(Mutual Information, MI)
来自Claude Edwood Shannon的信息论，计算一个消息中两个信号之间的相互依赖程度。在文本分类中是计算特征词条与文本类的相互关联程度。
特征t在类别
中MI公式：
特征项t在整个样本中的互信息值：
缺点：
对低频词十分敏感。若B为0时，无论A为多少算出来MI都一样，而且都很大。
2.3信息增益(Information Gain, IG)
来源于信息熵，公式：
优点：信息增益考虑了特征未发生的情况，特征不出现的情况可能对文档类别具有贡献
缺点：对只出现在一类的低频词有一定程度的倚重，但这类低频词未必具有很好的分类信息。
2.4卡方检验(chi-square)
源于统计学的卡方分布（chi-square），从（类，词项）相关表出发，考虑每一个类和每一个词项的相关情况，度量两者（特征和类别）独立性的缺乏程度，卡方越大，独立性越小，相关性越大。
特征t在类别
中的CHI公式：
特征项t在整个样本中的卡方值：
缺点：和IG一样，对低频词有一定程度的倚重。
3实验效果
任务：二元文本分类
数据集：
|
训练集 |
测试集 |
|
|
BCII |
5494篇文档（3536个正例，1959个负例） |
677篇文档（338个负例，339个负例） |
|
BCIII |
2280篇文档（1140个正例，1140个负例） |
6000篇文档（910个正例，5090个负例） |
实验方法：
-
文本预处理
-
特征选择：一元词特征
-
构建文本模型：BoW（布尔权值）
-
机器学习分类算法：SVM
-
评价指标：正类的F值
实验结果：
BCII结果
BCIII结果
4 总结
|
DF |
IG |
CHI |
MI |
|
|
倚重低频词 |
N |
Y |
Y |
Y |
|
考虑类别信息 |
N |
Y |
Y |
Y |
|
考虑特征不出现的情况 |
N |
Y |
Y |
N |
经验：
1）MI对于低频词过于敏感，对于特征出现频率差异较大的数据集，MI效果十分不理想。
2）DF的效果并没有想象中的差（除去停用词），和IG、CHI差不多，不过要是降到很低维的时候，一般还是IG和CHI的效果比较好。
3）若是数据集低频词数量比较多，DF效果甚至好于IG和CHI。
4）当数据集是均匀分布时，CHI的效果要略优于IG，而当数据集类别分布极为不均时，IG的效果要优于CHI。
5）不同的分类算法、评价指标等得到的效果可能会有所不同。
我们最好是根据自己的数据集分布，想达到的目的（降维？精确度？），来选择合适的特征选择方法。
参考文献：
[1] Y.Yang, J.Pedersen. A comparative study on feature selection in text categorization. 1997
[2] G. Foreman. An Extensive Empirical Study of Feature Selection Metrics for Text Classification. 2003
[3] 代六玲，黄河燕等. 中文文本分类中特征抽取方法的比较研究. 2004