• Hadoop笔记


    NameNode作用

    负责管理文件系统的命名空间,包括了命名空间镜像文件(fsimage,位于内存与磁盘中)和编辑日志文件(edits),以及记录每个文件中各个块所在的数据节点信息。

    NameNode启动过程

    NameNode启动:读取fsimage生成内存中元数据镜像

    DataNode启动:向NameNode注册,向NameNode发送BlockReport。

    NameNode高可用

    QJM

    Failover controller(ZooKeeper)

    分片规则

    long splitSize = computeSplitSize(goalSize, minSize, blockSize);

    computeSplitSize:

    Math.max(minSize, Math.min(goalSize, blockSize));

    其中,goalSize为“InputFile大小”/“我们在配置文件中定义的mapred.map.tasks”值,minsize为mapred.min.split.size,blockSize为64,所以,这个算式为取分片大小不大于block,并且不小于在mapred.min.split.size配置中定义的最小Size。

    Hive

    分区

    桶:map连接

    存储格式

    默认存储格式:分隔的文本

  • 相关阅读:
    现在SimpleMemory的CSS(by BNDong)
    I AK IOI
    最大半联通子图
    曾经SimpleMemory的CSS
    幼儿园战争
    炸掉卡西欧991CNX
    LuoguP1131选择客栈
    2019CSP-S2养成任务
    NOIP2013&NOIP2018&USACO 三倍经验铺路题巧妙解法
    NOIP2018D2T1 旅行
  • 原文地址:https://www.cnblogs.com/cheungchein/p/8762433.html
Copyright © 2020-2023  润新知