• 数据挖掘笔记(1)


    1)数据挖掘的一种定义
         是一项通过探測大量数据以发现有意义的模式和规则的业务流程。
         数据挖掘是一种业务流程,它以其他业务流程产生的大量数据为输入,一般经过收集,清洗,整理。识别、分析和度量等加工,得到某种有意义的模式或规则作为输出。

    而这样的输出反过来能够为其他业务流程提供度量,推断,预測等作用。


         数据挖掘的基础是大量的数据,不同的挖掘方法和目的对于数据量的要求会有所不同。但一般而言,都是数据越多越好。对于数据挖掘而言,全部数据都是实用的。但对于某种具体的挖掘任务,就须要识别有效数据和无效数据。这就是数据清理的基本目的。
         数据挖掘的过程并非单线的,非常多时候都须要不停地迭代。
         发现有意义的模式和规则是数据挖掘的根本目的。这里的模式和规则能够是一种关联(比方身高和饮食,销量与季节等),趋势(比方人口增长趋势,销量趋势)。

    一般来讲,依据数据总能够找到一种模式或者规则(对于有限的样本数据总能够找到一种拟合函数),因此必须寻找有意义的模式或规则。这里的有意义是指能够给我们的其他业务过程提供“实用“的帮助。
         在数据挖掘过程中,每一个环节事实上都带有非常大的主观性。由于数据量大,数据维度多,数据所包括的信息取决于人的视角,要穷尽全部的可能是不现实的,因此取舍在数据挖掘过程中非常重要。

    正由于数据挖掘的特殊性,非常多时候我们都希望能得到某种通用的模式。这当然是无可厚非的事情。

    但由于数据挖掘是基于历史数据。样本数据总是有限的,因此假设涉及到对未来的预測,那么在数据挖掘过程中就应始终保持对通用模式的警惕(放之四海而皆准的都应该警惕),同一时候也须要防止过渡拟合。

       
    2)数据挖掘的一般过程
         A)识别业务机会
         数据挖掘的重点的是结果(得到有价值的信息),而不是利用先进的技术。识别业务机会是数据挖掘的任务定义过程。
         B)将数据转换为信息。
        将数据转换为信息就是数据挖掘的挖掘过程。数据的好坏对信息的获取有比較直接的影响,由于在挖掘过程中。须要花费大量的时间和精力来进行数据的清理和整理。为了降低这样的成本,为数据挖掘而提供的数据应该有良好的数据格式(尽量结构化和标准化),尽可能多的维度(通常是越具体越好)。
         这从另外一个角度,也给业务或者产品的设计者。数据结构的设计者提出了更高的要求。
         C)依据信息採取行动。
         这是数据挖掘的根本目的。数据挖掘得到的信息应该得到应用。

    只实用了才干从实际中验证数据挖掘工作的好坏。挖掘策略是否有效。
         D)度量结果。


          对数据挖掘得到的信息通过实际应用进行检測,从而能够评价和改进挖掘过程。并且,通过应用产生的数据能够增加到新的挖掘过程中,对挖掘形成良性的促进。

    3)须要注意的问题
          学习的东西不真实
          A) 模式不代表不论什么基本规则
                 数据本身是没有好坏的。数据是中性的。

    但人们从数据获得的信息往往带有认知的主观性。比方我们觉得月亮上有月兔,不过由于有些像。但实际没有。


                  数据不会说谎,理解(挖掘)会有偏差;说谎的人会玩弄数据;
          B) 模型集可能不反映相关的总体
                 样本数据太少。样本数据不能非常好的反映总体的情况下就会产生这样的问题。比方1,1,2,3,5,8.看到这些数据。非常easy觉得是斐波纳契数列。假设这是商店的每天卖出的商品数。能用斐波纳契数列做商品的销售模型?显然不行的。


          C)数据的具体程度有误
                还是上面的样例,数据量太小,数据量太少,数据的具体程度太低,往往得不到所要的结果。还会产生误导。
          学习的东西无用
            包括两个方面。一是得出的东西众所周知,二是不能用,这个不能用可能是法律的。或者条件所限。


    

    
  • 相关阅读:
    Nginx 服务器安装及配置文件详解
    Linux 之 压缩解压缩
    RPM方式安装MySQL5.6
    Linux 之 搜索
    zabbix客户端安装
    JAVA输出指定目录下的子目录和子文件
    LoadRunner 11 安装破解
    SVN合并操作实践
    (转)SVN分支/合并原理及最佳实践
    MYSQL 免安装版(windows 7/64)
  • 原文地址:https://www.cnblogs.com/lxjshuju/p/6928367.html
Copyright © 2020-2023  润新知