• Hadoop简介


    1. 大数据简介

    大数据已经走进了我们的生活!

    典型案例:

    1.章鱼保罗

      章鱼保罗出生于2008年,逝世于2010年10月25日,人们称他为章鱼帝,预言帝,它曾经在2008年欧洲杯和2010年世界杯的14场比赛当中预测13场比赛结果的胜利,正确率92.85%,并且预测成功2010年世界杯为西班牙夺冠。

    2. 谷歌的云计算平台

    作为全球最大的搜索引擎平台,它通过大数据和云计算技术进行网络,微博等平台进行数据抓取和分析成功预测了世界杯16强比赛每场比赛的胜利者。据说霍金也曾经参与的数据算法的设计。

    3. 沃尔玛(啤酒与尿不湿)

    沃尔玛作为全球最大的零售厂商,他对用户购买的物品数据进行了分析,发现在美国啤酒和尿不湿经常出现在同一张购物单上,所以他将啤酒和尿不湿放到了一起销售,大大提高了销售额度,不仅如此,他还将其他经常出现的物品放到了一起

    4. 百度高考

    2014年预测押中了全国18套作文考题中的12套

    5. 其他典型案例

    大数据岗位

    大数据系统开发工程师

      主要负责开发大数据处理的系统,比如说hadoop和spark等

    大数据应用开发工程师

      主要负责在大数据开发平台上开发大数据处理的应用,比如说hadoop和spark等

    大数据可视化工程师

      主要负责将数据以可以展现出来的形式,从而实现人和机器共同工作分析数据得到想要的结果

    大数据分析师

      主要负责发现数据价值,设置数据分析的算法

    什么是大数据

    大数据是指无法在一定时间内用常规软件工具对其内容进行抓取管理和梳理数据的集合

     

    大数据是一种方法论:“一切都被记录,一切都被数字化,从数字里寻找需求,寻找知识,发掘价值”,从而替代直觉,依靠数据进行决策

    大数据技术:指从各种各样类型的数据中快速获得有价值信息的能力

    大数据的特点

    1. 数据体量巨大

          例如腾讯最高消息条数达到10000亿条,日接入数据量达到了200TB

    2. 数据类型多样,以非结构化数据为主

    3. 价值密度低

    价值密度的高低与数据总量的大小成反比

    迅速的完成数据的价值“提纯”是目前大数据汹涌背景下待解决的难题

    4. 产生和要求处理速度快

    大数据处理平台

    开源:                   商用:

    Hadoop                IBM PureData

    Spark(Apache)           Oracle Exadata

    Storm(Twitter)              Teradata AsterData

    MongoDB                 EMC GreenPlum   HP Vertica

    Hadoop简介

    Hadoop的优势

    厂商支持

    创始人

    Hadoop可以做什么

    HDFS用于存储大数据

    分布式概念

    MapReduce用于处理数据

    Map分配数据到各个节点,Reduce拉取处理后数据

    4.HBase用于存储数据,快速高效查询处理

     

    5.Zookeeper用于协调各个组件

     

    6.Hadoop生态圈

     

  • 相关阅读:
    ajax获取值的两种方法
    java反射
    idea 方便的设置代码段
    jstl核心标签库
    git遇到的问题 .Git: There is no tracking information for the current branch.
    java使用顺序存储实现队列
    RabbitMQ基本操作
    springboot 如何操作redis
    docker遇到的问题以及docker 操作镜像的基本操作
    教你在 Yii2 中添加全局函数
  • 原文地址:https://www.cnblogs.com/wh1520577322/p/10103397.html
Copyright © 2020-2023  润新知