• 数据挖掘(一)


    一、数据的相关问题

    1. 数据的质量
    2. 数据预处理,使数据更适合分析
    3. 根据数据联系分析数据,找到数据之间的联系,利用联系进行其余分析

    二、名词解释

    • 数据集:数据对象的集合
    • 属性:对象的性质或特性
    • 测量标度:将数值或符号值与对象的属性相关联的规则

    数据集的特性

    • 维度
    • 稀疏性:非零项所占比例很小,只存非零项,可节省时间和空间
    • 分辨率:影响数据的性质

    数据清理:清理不真实或重复的对象(如人的身高2米,体重2kg)

    涉及测量误差的问题: 
    噪声、伪像、偏倚、精度、准确率 
    涉及数据质量的问题: 
    离群点、遗漏、不一致的值、重复数据

    数据收集错误:遗漏数据对象、不正确包含数据对象,也就是有其他相似但并不应该包含的数据的干扰

    离群点:不同于数据集中其他大部分数据的对象 
    遗漏值:对象遗漏属性(比如有人不愿意透漏姓名、年龄)

    聚集:将两个或多个对象合并成单个对象(如表1:学号姓名,表2学号成绩,聚集之后就变成一个表:学号姓名成绩)

    抽样:选择数据对象子集进行分析的方法,数据挖掘中采用抽样是为了节省数据处理需要的时间、费用。

    有效抽样的原理:样本越具代表性,效果越接近整个数据集

    抽样方法:简单随机抽样(有放回、无放回),分层抽样(对于总体由不同类型对象组成,且数量差别很大)

    关于作者

    后端程序员,五年开发经验,从事互联网金融方向。技术公众号「清泉白石」。如果您在阅读文章时有什么疑问或者发现文章的错误,欢迎在公众号里给我留言。

  • 相关阅读:
    三、oracle 体系结构
    js字符串转化为日期及日期判断大小
    二十五、oracle pl/sql进阶控制结构(分支,循环,控制)
    五、oracle 10g目录结构
    二十六、oracle pl/sql 分页
    Oracle物化视图语法
    二、理解over()函数
    Java使用SOAP获取webservice实例解析
    常用的PL/SQL开发原则
    二十九、oracle 触发器
  • 原文地址:https://www.cnblogs.com/fonxian/p/5060402.html
Copyright © 2020-2023  润新知