• 疑问-hadoop



    hadoop可以设置备份数据个数,那么这些不同节点的数据块对于hadoop来说有区分谁是备份的谁是直接可以用的吗?


    hadoop有机架策略,给某些操作如像根据带宽选择节点传输数据

    那么这种策略的根据是什么?内在机理是怎样的

    20141023:datanode定期会给namenode发送心跳信息,namenode应该根据接收同一数据块不同机架或者不同机房的间隔时间来判断网络带宽优劣


    namenode需要格式化,建立元数据文件结构,那么datanode也有自己的文件存储结构,为什么不需要格式化?

    答:配置

    集群启动前

    集群启动后

    所以在启动集群的时候格式化了datanode的文件结构


    namenode是用来保存元数据的,那么datanode中的.meta元数据又是用来干嘛的?

    20141023:namenode保存的是文件名称、结构、块信息、备份数等,namenode保存的是块的校验信息

          安全模式下datanode向namenode发送块信息,namenode判断的是没有损坏的块数量是否达到最小备份数


    欲为大树,何与草争;心若不动,风又奈何。
  • 相关阅读:
    python小练习
    python学习笔记
    google测试之道读书笔记一
    webservice头部认证
    我们需要什么样的测试?
    pt-ioprofile在CentOS7上无法运行的解决办法
    推荐Nginx系列文章
    linux开启coredump的3种方法
    55, select/poll returned error
    centos ftp安装
  • 原文地址:https://www.cnblogs.com/admln/p/doubt.html
Copyright © 2020-2023  润新知