• hadoop集群搭建的完整配置


    首先说明啊,我是新人初学,自己搭建的配置,为了下次建立过程中方便而贴!!!!!!!!
    如果你为了快,可以直接复制我的。哈哈哈,你有好的理解,或者我的有问题欢迎提出
    一、core-site.xml的相关配置

    fs.defaultFS hdfs://192.168.92.99:9000 io.file.buffer.size 1024 hadoop.tmp.dir /opt/module/hadoop-2.8.5/tmp

    二、hdfs-site.xml配置

    dfs.replication 2 dfs.namenode.secondary.http.address hdslave2:50090 dfs.namenode.name.dir /opt/module/hadoop-2.8.5/hdfs/name dfs.datanode.data.dir /opt/module/hadoop-2.8.5/hdfs/data dfs.http.address hdmaster:50070 dfs.webhdfs.enabled true dfs.permissions false dfs.namenode.heartbeat.recheck-interval 300000 dfs.heartbeat.interval 3 三、mapred-site.xml配置 mapreduce.framework.name yarn mapreduce.jobhistory.address hdmaster:10020 mapreduce.jobhistory.webapp.address hdmaster:19888 mapred.job.tracker hdmaster:9001 四、yarn-site.xml配置
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    
    <property>
       <name>yarn.nodemanager.resource.cpu-vcores</name>
       <value>2</value>
    </property>
    
    <property>
          <name>yarn.scheduler.maximum-allocation-vcores</name>
           <value>4</value>
        </property>	
        
         <property>
    	<name>hadoop.refistry.zk.quorum</name>
    	<value>hdsalve2:2181,hdslave1:2181</value>
    </property>	
    
    
    
    <property>
           <name>yarn.resourcemanager.am.max-attempts</name>
            <value>100</value>
        </property>	
    
    <property>
    	  <name>yarn.resourcemanager.hostname</name>
    	  <value>hdmaster</value>
    </property>
    
     <property>
    		<name>yarn.resourcemanager.address</name>
    		<value>hdmaster:8032</value>
    </property>
    
    <property>
    		<name>yarn.resourcemanager.scheduler.address</name>
    		<value>hdmaster:8030</value>
    </property>
    
    <property>
    		<name>yarn.resourcemanager.resource-tracker.address</name>
    		<value>hdmaster:8031</value>
    </property>
    
     <property>
    		<name>yarn.resourcemanager.admin.address</name>
    		<value>hdmaster:8033</value>
     </property>
    
    <property>
    		<name>yarn.resourcemanager.webapp.address</name>
    		<value>hdmaster:8088</value>
    	</property>
  • 相关阅读:
    IIS日志分析
    Linux 管理软件
    lodop打印收费小票
    文件上传,服务端压缩文件方法,重点是png与gif图片的压缩,保证了透明度与动画
    设置表格隔行变色,以及鼠标悬浮变色效果
    地址下拉框,需要js级联js
    下拉框多级联动辅助js,优化您的下拉框
    给下拉框加上可输入查询特性,包括中文与拼音首字母
    判断浏览器客户端是不是移动客户端
    url重定向或者重写
  • 原文地址:https://www.cnblogs.com/hbym/p/11356362.html
Copyright © 2020-2023  润新知