数据分析或者挖掘到底在做什么?认为分析是为了定性地、概括地从庞大的数据中找到规律,找到数据挖掘的方向。就像解数学题之前要对题目进行定性,简单的推演以找到解决数学问题的思路。
数据挖掘是从庞大的信息源中获得知识【1】的过程。数据挖掘是为了得到目标结果而使用的方法,手段。有一些比较成熟的数据挖掘算法。如,决策树算法【2】,神经网络算法【2】,支持向量机【3】,线性回归等。其中决策树算法时间复杂度最低,应该是最常用的挖掘算法。
知识的挖掘离不开信息源。未经处理的信息往往带有很大的噪声。因此必须要对原始信息进行处理。这也就是所谓的数据清洗,属于数据预处理模块。
经过处理后的数据更加干净,准确,简化。可以更好地为挖掘使用。从而减少了数据挖掘算法模块的数据处理量,提高了挖掘的效率和知识发现的起点,准确度。
经过数据预处理模块之后便可以进入到挖掘算法模块了。再经过某种方法将数据处理之后便可以得到一定的模式或规则。但是这时得到的模式并不是最终的知识,因为模式有可能是冗余的、无效的,甚至是错误的。这就需要做进一步处理。
得到无误的模式之后,还需要对模式解释表达,使用户能够理解,进而能够做出评估判断。这就是信息展示要做的工作。此时要借助一些可视化技术和传统的知识表达技术,这样可以更加形象,直观地表出挖掘的结果。
总而言之,数据挖掘得到知识的过程是:
1、 得到预处理的数据;
2、 数据挖掘算法(分类处理数据)得到模式或者规则;
3、 模式形象地展示出来。