• 了解大数据的特点、来源与数据呈现方式


    1.浏览2019春节各种大数据分析报告,例如:

    2.这些分析所采用数据的来源是什么?

      1) 交易数据。包括 POS 机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“企业资源规划”(ERP)系统数据、销售系统数据、客户关系管理 (CRM) 系统数据、公司的生产数据、库存数据、订单数据、供应链数据等。

      2) 移动通信数据。能够上网的智能手机等移动设备越来越普遍。移动通信设备记录的数据量和数据的立体完整度,常常优于各家互联网公司掌握的数据。移动设备上的软件能够追踪和沟通无数事件,从运用软件储存的交易数据 (如搜索产品的记录事件) 到个人信息资料或状态报告事件 (如地点变更即报告一个新的地理编码) 等。

      3) 人为数据。人为数据包括电子邮件、文档、图片、音频、视频,以及通过微信、博客、推特、维基、脸书、Linkedin 等社交媒体产生的数据流。这些数据大多数为非结构性数据,需要用文本分析功能进行分析。

      4) 机器和传感器数据。来自感应器、量表和其他设施的数据、定位/ GPS 系统数据等。这包括功能设备会创建或生成的数据,例如智能温度控制器、智能电表、工厂机器和连接互联网的家用电器的数据。来自新兴的物联网(IoT) 的数据是机器和传感器所产生的数据的例子之一。来自物联网的数据可以用于构建分析模型,连续监测预测性行为 (如当传感器值表示有问题时进行识别),提供规定的指令 (如警示技术人员在真正出问题之前检查设备)等。

      5) 互联网上的“开放数据”来源,如政府机构,非营利组织和企业免费提供的数据。

    3.大数据的呈现方式有哪些?

    (1)将指标数值化  (2)将指标图形化  (3)将指标关系图形化  (4)将时间和空间可视化  (5)将数据进行概念转换   (6)让图表”动“起来

    4.大数据的特点是什么?对思维方式有何影响?

       大数据有4个特点,为别为:Volume(大量)、Variety(多样)、Velocity(高速)、Value(价值)分别对应为:

    1、数据量大

        人类社会产生的数据每两年就增加一倍——“大数据摩尔定律”。

    2、数据类型繁多

        大数据的数据类型丰富,包括结构化数据和非结构化数据,其中,结构化数据占10%左右,主要是指存储在关系数据库中的数据;后者占90%左右,种类繁多,主要包括邮件、音频、视频、微信、微博、位置信息、链接信息、手机呼叫信息、网络日志等。

    3、处理速度快

        数据处理和分析的速度通常要达到秒级响应。

    4、价值密度低

        在大数据时代,很多有价值的信息都是分散在数据海量中的。譬如监控视频,平时可能没有什么作用,但当发生盗窃事件时,只有记录了案发时刻的那一段视频是有用的。

    大数据对思维方式的影响:

    (1)人们处理的数据从单一样本数据变成全量数据(全样本数据);

    (2)由于是海量数据和全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;

    (3)人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关性关系(即数据的关联性关系)。

    课后小故事代码:

  • 相关阅读:
    app爬虫(python)开发——通过docker部署多任务端app应用数据抓取系统(终结篇)
    app爬虫(python)开发——app软件数据抓取进阶之实战笔记
    app爬虫(python)开发——简单app数据抓取入门实战案例笔记
    app爬虫(python)开发——移动端自动化控制工具(appium,inspector等)笔记
    JavaCV FFmpeg采集摄像头YUV数据
    java安全编码指南之:lock和同步的正确使用
    《.net之美》之读书笔记(二) C#中的泛型
    跟我一起学.NetCore之WebApi接口裸奔有风险(Jwt)
    一个爬虫的故事:这是人干的事儿?
    从零开始针对 .NET 应用的 DevOps 运营实践
  • 原文地址:https://www.cnblogs.com/Tqin/p/10457263.html
Copyright © 2020-2023  润新知