• ACA


    一、什么是大数据

    1.大数据的定义

    大数据( Big Data), 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    2.大数据的发展历程

    3.大数据的主要特征

    ■体量大(Volume)
    ■类型多(Variety)
    ■有价值(Value)
    ■变化快(Velocity)

    4.为什么会有大数据

    ■移动互联网带来数据爆炸式的增长
    ■数据作为资产其价值得到认可
    ■存储和计算能力的飞速发展

    5.大数据的来源

    媒体、网络日志、公共设施、单位组织、大型设备、工业领域、地理位置、基因图谱

    二、大数据的价值

    1.解决四种问题

    ■坐井观天:孤立存在,无法获得外部世界的信息,决策基于数据片段。
    ■一叶障目:被局部现象所迷惑,看不到事物的全局或者整体。
    ■盲人摸象:事物间的联系被忽视、弱化或割裂,没有全局或综合的视图。
    ■城门鱼殃:无法从多个角度看待问题,忽略了事物之间的关联性。

    2.提升两种能力

    ■一叶知秋:通过个别细微的迹象,推测出整个形势的发展趋势和结果。即通过全局数据计算,分析内在规律,进而提高洞察世界的能力。
    ■运筹帷幄:大数据应用立足于决策,通过多维度数据的搜集、加工和分析,高效的帮助用户做出更为准确的商业决策。

    三、如何使用大数据

    1.如何存储

    分布式存储

    2.如何计算

    ■将问题简化成一个更简单的能处理的问题,比如十亿量级的数据查询,分布到一千台主机上成为百万级的查询。
    ■将大问题拆分成多个可以简单求解的小问题。

    3.如何分析

    ■数据采集与处理
    ■数据质量与管理
    ■机器学习
    ■数据可视化

    数据分析流程

    四、大数据相关的流行技术

    1.Hadoop生态圈

    2.阿里云大数据体系

  • 相关阅读:
    手下有个人总是用一些小的缺点来否认你的决定的优点,如何解决这个问题? (转载)
    初等代数
    全民上网到全民织网 Web 2.0掀起人民战争
    这个sql语句:列出各门课程成绩最好的两位学生?
    在XML中发送二进制数据
    .NetFramework 数据保存与传输之序列化对象
    Duwamish学习之构架篇错误捕获
    在.NET环境中使用单元测试工具NUnit
    [翻译]XNA外文博客文章精选之fourteen
    [翻译]XNA外文博客文章精选之nine
  • 原文地址:https://www.cnblogs.com/nnadd/p/12972664.html
Copyright © 2020-2023  润新知