一、数据精简之数值精简
•1. 数据值精简的需求
• 原始数据中存在太细、过于底层的数据数值，对于许多数据挖掘方法而言，将无法从中找出层次较高、趋势导向的知识
• 2.类别型数据数值精简
• 数据一般化(Data Generalization)
• 3.连续型数据数值精简
• 数据离散化(Data Discretization)
二、数据精简之字段精简
• 在做数据挖掘之前，将所有的字段做分析，并选择重要且具有区分能力的字段做为输入，是相当重要的
• 因为如果将不重要的字段也输入至系统中，除了拉长系统学习的时间，增加系统的复杂度外，系统的正确率也会受到一定程度的影响
• 如何判断字段的重要性
• 专家的经验及直觉
• 自动化的分析方法
• 如为分类模型可用统计检定的技术来加以判断
• 如为预测模型可用皮尔森相关系数来加以判断
• 如为分群模型可利用主成份分析及因素分析来加以判断