• 大数据技术原理与运用知识


    一·大数据概述

    随着信息技术发展的巨大变革,企业和学术机构纷纷加大技术、资金和人员投入,加强对大数据关键技术的研发与运用。

    大数据的发展历程总体上划分为三个重要阶段:萌芽期、成熟期和大规模应用期。

    二.大数据概念

    大数据的4个特点:数据量大、数据类型繁多、处理速度快和价值密度低。

    三.大数据与云计算、物联网的关系

    大数据为云计算机提供了用武之地,云计算为大数据提供了技术基础。

    物联网是大数据的重要来源,大数据技术为物联网数据分析提供支撑。

    云计算为物联网提供海量数据存储能力,物联网为云计算技术提供了广阔的应用空间。

     四.大数据处理架构Hadoop

    1.Hadoop简介

    HadoopApache旗下的一个开源分布式计算平台。是基于Java语言开发的,具有很好的跨平台性,并可以部署在一般的计算机集群中。Hadoop的核心是分布式文件系统HDFSMapReduceHDFS具有较高的读写速度、很好的容错性和可伸缩性,很好的保证了数据的安全性。

    其中YARN是资源调动,MapReduce是计算框架。

    2.Hadoop的特性

    高可靠性、高效性、高扩展性、容错性、成本低、运行在Linux平台上、支持多种编程语言。

    3.Hadoop生态圈

    /*图片来源于网络*/

  • 相关阅读:
    使用OTT处理oracle中的对象(一) OTT配置
    mvc全局过滤器和httpmodule的执行顺序
    Cookie的跨域问题
    Request[]与Request.Params[] 差别
    Introduction to Partial View
    MVC异常过滤器在三种作用范围下的执行顺序
    System.Web.UI.Page事件执行顺序
    Controlling Session Behavior in Asp.Net MVC4
    MVC复杂类型的模型绑定
    ROW_NUMBER分页
  • 原文地址:https://www.cnblogs.com/sokodomo/p/11537695.html
Copyright © 2020-2023  润新知