• 数据预处理


    现实世界中数据大体上都是不完整,不一致的脏数据,无法直接进行数据挖掘,或挖掘结果差强人意。为了提前数据挖掘的质量产生了数据预处理技术。

      数据预处理有多种方法:数据清理,数据集成,数据变换,数据归约等。这些数据处理技术在数据挖掘之前使用,大大提高了数据挖掘模式的质量,降低实际挖掘所需要的时间。
      一、数据清理
      首先是处理空缺值,如:要分析某市场的销售和顾客数据,但顾客的income项没有记录,如何处理这类问题
      1、忽略元组:忽略整条记录
      2、人工填写空缺值:根据其它资料手工填写
      3、使用一个全局常量填充空缺值:使所有income项记录都以一个常量(如:2000)填充
      4、使用属性的平均值填充空缺值:取得其它记录中该属性的平均值进行填充
      5、使用与给定元组属同一类的所有样本的平均值:与上面相类似
      6、使用最可能的值填充空缺值:与上面相类似
      然后是处理噪声数据,
      1、分箱:通过考察周围的值来平滑存储数据的值,有两种方法:按箱平均值平滑,箱中每一个值被箱中的平均值替换;按箱边界平滑,箱中的最大和最小值被视为箱边界,箱中的每一个值被最近的边界值替换
      2、聚类:简单来说就是取得相对比较集中的值,相对分散的值忽略不计的方法
      3、回归:通过一个合适的函数(如回归函数)来平滑数据
      4、计算机和人工检查结合:即手工处理
      最后是处理不一致数据
      主要方法是参照其它资料,如纸上记录,人工的加以更正
     
      二、数据集成
      即由多个数据存储合并数据。
     
      三、数据变换
      将数据转换成适用于数据挖掘的形式。
     
      四、数据归约
      数据挖掘时往往数据量非常大,在少量数据上进行挖掘分析需要很长的时间,数据归约技术可以用来得到数据集的归约表示,它小得多,但仍然接近于保持原数据的完整性,并结果与归约前结果相同或几乎相同。
     
      数据预处理是目前数据挖掘一个热门的研究方面,毕竟这是由数据预处理的产生背景所决定的--现实世界中的数据几乎都脏数据
    Meet so Meet. C plusplus I-PLUS....
  • 相关阅读:
    (转)Ubuntu init启动流程分析
    读懂diff
    vs2010 sp1
    Git .gitignore文件的使用
    第一次尝试节奏跑(乳酸门槛跑)
    放松跑、间歇跑、节奏跑和LSD
    Tomcat6配置webdav协议
    Content-disposition
    php5.3到php7.0.x新特性介绍
    随机生成字符串
  • 原文地址:https://www.cnblogs.com/iplus/p/4489928.html
Copyright © 2020-2023  润新知