• 大数据计数原理与应用——笔记——大数据概述


      大数据的由来:2010年前后第三次信息化浪潮,提出了物联网、云计算和大数据概念。

      大数据时代的计数支撑:存储设备容量不断增加、CPU处理能力大幅提升、网络带宽不断增加。【存储、计算、网络】

      数据产生方式的变革促成大数据时代的到来:运营式系统阶段——用户原创内容阶段——感知式系统阶段

        【运营活动产生的数据存储到数据库(数据是被动产生的)——web2.0时代用户原创内容(移动设备加速内容产生,数据是主动产生的)——感知式系统的广泛应用(摄像头等等传感器,每时每刻在产生数据)】

      大数据概念 

        大数据的特性(4V):  大量化Volume、快速化Velocity、多样化Variety、价值化Value

                    数据量大、处理速度快、数据类型繁多、价值密度低

        大数据摩尔定律:数据一直都在以每年50%的数据增长。

        大数据的思维方式:1、全样而非抽样  2、效率而非精确  3、相关而非因果

        大数据的关键技术:数据采集、数据存储和管理、数据处理与分析、数据隐私和安全

          两大核心技术:分布式存储、分布式处理

      大数据的计算模式

    计算模式 解决问题 代表产品
    批处理计算 针对大规模数据的批量处理 MapReduce、Spark等
    流计算 针对流数据的实时计算 Storm、S4、Flume等
    图计算 针对大规模图结构数据的处理 Pregel、GraphX、Giraph等
    查询分析计算 大规模数据的存储管理和查询分析 Dremel、Hive、Cassandra等

       大数据与云计算、物联网的关系

       云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者相辅相成,既有联系又有区别。

          云计算为大数据提供了技术基础,大数据为云计算提供用武之地。

          物联网是大数据的重要来源,大数据技术为物联网数据分析提供支撑。

          云计算为物联网提供海量数据存储能力,物联网为云计算技术提供广阔的应用空间。

        云计算概念:云计算实现了通过网络提供可伸缩的、廉价的分布是计算能力,用户只需要在具备网络接入条件的的房,就可以随时随地获得所需的各种IT资源。

        云计算的典型特点:解决了分布式存储了分布式处理的问题、虚拟化和多租户

        云计算的三个层次:基础设施服务(IaaS)、平台服务(PaaS)、软件应用服务(SaaS)

        物联网(IOT)概念:物联网是物物相连的互联网,是互联网的延伸,利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起,形成人与物、物与物相联,实现信息化和远程管理控制。

        物联网的层次架构:感知层——网络层——处理层——应用层

        物联网的关键技术:识别和感知技术(二维码、RFID、传感器等)、网络与通信技术、数据挖掘与融合技术

        

        

  • 相关阅读:
    新的开始 和一些总结
    常用物流快递单号查询API接口对接net源码示例_快递鸟
    从SpringBoot到SpringCloudAlibaba简明教程(一):初识SpringBoot及其基础项目构建
    Debug > python list.sort()食用方法
    Debug > python统计列表中元素个数
    Debug > python中的True False 0 1
    java获取本机外网ipV4
    aop统一处理修改请求参数
    [算法] 国家地区数组按照中文首字母排序
    js转换ASCII码
  • 原文地址:https://www.cnblogs.com/rix-yb/p/9608926.html
Copyright © 2020-2023  润新知