• slot的含义


    1)

    slot就是槽的意思,是一个资源单位,只有给task分配了一个slot之后,这个task才可以运行。slot分两种,map slot沪蓉reduce slot。另外,slot是一个逻辑概念,一个数据节点的slots数量既不是CPU的核数,也不是memory chip,一个节点的slot数量用来表示此节点的资源容量或是计算计算能力的大小,也就是说slot是hadoop的资源单位。

    2)

    系统中map slots总数与reduce slots总数的计算方式如下:

    map slots 总数=集群节点数*mapred.tasktracker.map.tasks.maximum(默认是2);

    reduce slots 总数=集群节点数*mapred.tasktracker.reduce.tasks.maximum(默认是2);

    当初以为slots就是节点上cpu的核数,一直搞不懂三个数据节点,总共5个cpu核,为什么会有6个map slots 、6个reduce slots:

    默认一个节点上有2个map slots,2个reduce slots。而一个slot对应一个task,所以,map task capacity、reduce task capacity的值是6。Avg.Tasks/Node就是一个节点的平均任务数量,2个map+2个reduce就是4个。

    运行的job包含42个map,由于集群总的map slots是6,所以会有22等待的map任务。

  • 相关阅读:
    socket 编程练习--UDP聊天程序
    练习 多线程
    练习二:求最大公约数
    练习一:单链表的反转,串的模式匹配
    【算法1】string 的全排列
    lw资料
    SDmenu滑动菜单获取导航连接部分代码
    FileOperate(个人资料)
    C/C++基本数据类型
    C++/MFC计算程序运行时间
  • 原文地址:https://www.cnblogs.com/lz3018/p/4906611.html
Copyright © 2020-2023  润新知