• 20210330学习笔记--第1天目标是刷完HadoopDay1 Day2(计划40天学完大数据)


    不算java、Mysql和Linux部分,每天学多少它已经分好了,严格按照这个来完成,但是你应该力求每天至少看2个day的视频,你觉得熟悉的地方应该快进。(学完一个小视频,你应该有收获和总结,但面试不考的你完全没必要总结。)

    总结方法:只总结重点,一眼就明白的不用总结,关键看典型的题目怎么考你。典型的项目需要你做什么样的流程,从什么时候开始。

    光大数据部分的视频如下(共计88天,这还不算java和mysql,不算看源码、调优技能)

    • Hadoop:7天
    • Zookeeper:0.5天
    • HA:0.5天
    • hive:6天
    • flume:3天
    • kafka:5天
    • HBase:3天
    • Azkaban:0.5天
    • 离线数仓项目:5天+9天
    • scala:8天
    • spark:13天
    • 实时数仓项目:13天
    • Flink:9天
    • 在线教育项目2.0:4天
    • 面试大保健:2天

    完成情况:

    笔记:

    Hadoop包括HDFS(存储)、Yarn(任务调度)、MapReduce(计算)三部分。

    1.HDFS架构

    • NameNode:记录块数据的存放位置
    • DataNode:实际存数据
    • Secondary NameNode:隔一段时间对NameNode做备份,但没法替代NN提供服务。 √

    2.Yarn架构

    我觉得没必要死记,记住了不理解也没用,其实他很像一个项目经理在给下属安排任务,只不过要正确理解下AM这个角色,他是为某一个任务而临时创建的管理者。只要能理解到这一点,整个架构就很好理解了。

    以下是一个通俗的解释:

    • 资源:对Yarn来说,资源就是特指CPU+内存
    • Container:资源虚拟化,以Container的形式把多种资源打包在一起分配出去。
    • Client:相当于客户,向主管(RM)提需求(job)
    • ResourceManager:相当于主管,负责管理和了解整个集群的资源情况。
      • 听客户(client)说需求
      • 听每个员工(NM)汇报自己能做什么,手里有多少人力(节点资源)--》目的是让RM清楚整个集群,有多少人力能干多少事。
      • 把每个员工(NM)安排成一个任务的临时负责人(AM)
      • 听临时负责人申请需要多少人力(资源),然后分配给他--》这些资源是从整个集群的节点来调度,以资源池的形式灵活分配。比如说我需要两个前端,一个设计师来配合我。
    • NodeManager:相当于员工,这个员工负责自己相关工作的人力资源。
      • 向主管(RM)汇报自己手里的人力(资源)
      • 成为任务的临时负责人(AM),评估领导分配的任务(job)
      • 评估之后,跟主管(RM)要人力(资源)
      • 持续跟进这个任务(job),直到完成后卸任“临时负责人”(AM)
    • ApplicantionMaster:相当于“临时负责人”称号,为某一个任务而临时扮演管理者的角色。
      • 向主管申请资源
      • 一直跟进任务,直到完成后不再担任临时负责人

    3.MapReduce流程:

    • MR是一个计算框架,但并不是一个真正的组件,它的资源调度是由Yarn来实现。
    • Map就是把任务分给每台机器去做,Reduce就是把任务汇聚起来。

    4.大数据生态体系(了解)

    5.

    总结:

  • 相关阅读:
    python基础5之装饰器
    python基础4之递归、lambda、深浅copy
    python基础3之文件操作、字符编码解码、函数介绍
    python基础1之python介绍、安装、变量和字符编码、数据类型、输入输出、数据运算、循环
    python基础2之字符串、列表、字典、集合
    Mysql主从复制的实现
    LNMP一键安装脚本
    LNMP搭建(CentOS 6.3+Nginx 1.2.0+PHP 5.3.15(fpm)+ MySQL 5.5.35)
    整合apache+tomcat+keepalived实现高可用tomcat集群
    浅谈CSRF
  • 原文地址:https://www.cnblogs.com/gen2122/p/14599247.html
Copyright © 2020-2023  润新知