• Dream------Hadoop--网络拓扑与Hadoop--摘抄


    两个节点在一个本地网络中被称为“彼此的近邻”是什么意思?在高容量数据处理中,限制因素是我们在节点间
    传送数据的速率-----带宽很稀缺。这个想法便是将两个节点间的带宽作为距离的衡量标准。
     
    衡量节点间的带宽,实际上很难实现(它需要一个稳定的集群,并且在集群中成对的节点的数量的增长要是节点数量的平方),不及Hadoop采用一个简单的方法,把网络看做一棵树,两个节点间的距离是距离他们最近的共同祖先的总和。
    该树中的等级是没有被预先设定的,但是他对于相当于数据中心、框架和一直在运行的节点的等级是相同的。
    这个想法是,对于以下每个场景,可用带宽依次减少(啥意思?是消耗的带宽依次增多吗?)
     
        相同节点中的进程
        同一机架上的不同节点
        同一数据中心的不同机架上的节点
        不同数据中心的节点(目前Hadoop上不适合跨数据中心运行)
     
    例如,假设节点n1 在数据中心d1 中的机架r1 上.这被表示成/d1/r1/n1 。
    利用这种标记,这里给出四种描述的距离:
        距离(/d1/r1/n1 , /d 1 /r 1 /n 1)=O(相同节点中的进程)
        距离(/dl /r1 /n1 , /d 1 /r1 /n2)=2(同一机架上的不同节点)
        距离(/d1/r1/n1, /d 1 /r2/n3)=4( 同一数据中心的不同机架丰的节点)
        距离(/d1/r1/n1, /d2/r3/n4 }=6(不同数据中心的节点)
     
     
    用图示形式表达(数学爱好者会注意到这是一个Z巨禽公制的例子) .
     
     
     
    我们必须意识到, Hadoop 无法预测网络拓扑结构.它需要一定帮助,我
    们将在第9 章讨论如何配置拓扑. 不过在默认情况下,假设网络是平的
    (一个单层的等级制),或者换句话说,所有节点都在同一数据中心的同一
    机架. 小的集群可能如此,所以不需要进一步的配置.
     
     
     
     
     

    DT大数据梦工厂,微信公众号是:DT_Spark,每天都会有大数据实战视频发布,请您持续学习。
    相关资料:
    scala深入浅出实战经典完整视频、PPT、代码下载:
    百度云盘:http://pan.baidu.com/s/1c0noOt6
    腾讯微云:http://url.cn/TnGbdC
    360云盘:http://yunpan.cn/cQ4c2UALDjSKy  访问密码45e2
     
     
     
     
     
     
     
     
     
     
     
  • 相关阅读:
    抛弃【 LIMIT O,N 】,换种方法查询分页
    在美国,男 / 女卫生间(厕所)的正确称呼为什么?请用英语写出答案。
    CSS3 选择器
    使用Git将项目上传到github
    Elasticsearch 的 Update更新
    elasticsearch 基本用法
    elasticsearch 基础性操作
    elasticsearch 插入数据
    elasticsearch 安装和部署
    关于httpclient 请求https (如何绕过证书验证)
  • 原文地址:https://www.cnblogs.com/wangliansong/p/4789979.html
Copyright © 2020-2023  润新知