• hadoop 关键属性配置


    摘自网友:

    其中红色的配置为必须配置参数

     

    参数取值备注

    fs.default.name NameNode 的URI。 hdfs://主机名/
    dfs.hosts/dfs.hosts.exclude 许可/拒绝DataNode列表。 如有必要,用这个文件控制许可的datanode列表。
    dfs.replication 默认: 3 数据复制的分数
    dfs.name.dir

    举例:/home/username/hadoop/namenode

    默认:/tmp

    当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份。
    dfs.data.dir

    举例:/home/username/hadoop/datanode

    默认: /tmp

    当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上。

     dfs.datanode.max.xcievers

    65535  设置同一时间打开文件数目的上限
    mapred.system.dir Map/Reduce框架存储系统文件的HDFS路径。比如/hadoop/mapred/system/ 这个路径是默认文件系统(HDFS)下的路径, 须从服务器和客户端上均可访问。
    mapred.local.dir 本地文件系统下逗号分割的路径列表,Map/Reduce临时数据存放的地方。 多路径有助于利用磁盘i/o。
    mapred.tasktracker.{map|reduce}.tasks.maximum 某一TaskTracker 上可运行的最大Map/Reduce任务数,这些任务将同时各自运行。 默认为2(2个map和2个reduce),可依据硬件情况更改。
    mapred.job.tracker JobTracker 的主机(或者IP)和端口。 主机:端口
    mapred.hosts/mapred.hosts.exclude 许可/拒绝TaskTracker列表。 如有必要,用这个文件控制许可的TaskTracker列表。
         
    hadoop.job.history.user.location

    默认:mapred.output.dir/_logs/history

    也可以设置为none 来停用

    作业的历史文件记录目录

     

    conf/slaves 写入全部的slave的机器名或者IP

     

    nameNode记住每个文件被映射成的 blockId。每个blockId对应的block会被复制到不同的机器上多余一份。

    hadoop 默认的block 是 64MB

  • 相关阅读:
    邪恶改装2:用单片机实现一次简单的wifi密码欺骗
    TPYBoard自制微信远程智能温湿度计
    什么是私有网络
    DCHP是什么意思
    ipconfig 命令有什么作用
    什么是网关及网关作用
    什么叫路由
    kvm libvirt 虚拟机管理
    通过python-libvirt管理KVM虚拟机 源码
    通过python-libvirt管理KVM虚拟机 代码实现
  • 原文地址:https://www.cnblogs.com/tangtianfly/p/2494305.html
Copyright © 2020-2023  润新知