• hadoop群集 启动


    ###注意:严格按照下面的步骤
            2.5启动zookeeper集群(分别在itcast04、itcast05、itcast06上启动zk)
                cd /itcast/zookeeper-3.4.5/bin/
                ./zkServer.sh start
                #查看状态:一个leader,两个follower
                ./zkServer.sh status
                
            2.6启动journalnode(在itcast01上启动所有journalnode,注意:是调用的hadoop-daemons.sh这个脚本,注意是复数s的那个脚本)
                cd /itcast/hadoop-2.2.0
                sbin/hadoop-daemons.sh start journalnode
                #运行jps命令检验,itcast04、itcast05、itcast06上多了JournalNode进程
            
            2.7格式化HDFS
          (首次或需要重新格式时执行)
    #在itcast01上执行命令: hdfs namenode
    -format #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件,这里我配置的是/itcast/hadoop-2.2.0/tmp,然后将/itcast/hadoop-2.2.0/tmp拷贝到itcast02的/itcast/hadoop-2.2.0/下。 scp -r tmp/ itcast02:/itcast/hadoop-2.2.0/ 2.8格式化ZK(在itcast01上执行即可)
          (首次或需要重新格式时执行)
       hdfs zkfc
    -formatZK 2.9启动HDFS(在itcast01上执行) sbin/start-dfs.sh 2.10启动YARN(#####注意#####:是在itcast03上执行start-yarn.sh,把namenode和resourcemanager分开是因为性能问题,因为他们都要占用大量资源,所以把他们分开了,他们分开了就要分别在不同的机器上启动) sbin/start-yarn.sh 到此,hadoop2.2.0配置完毕,可以统计浏览器访问: http://192.168.1.201:50070 NameNode 'itcast01:9000' (active) http://192.168.1.202:50070 NameNode 'itcast02:9000' (standby) 验证HDFS HA 首先向hdfs上传一个文件 hadoop fs -put /etc/profile /profile hadoop fs -ls / 然后再kill掉active的NameNode kill -9 <pid of NN> 通过浏览器访问:http://192.168.1.202:50070 NameNode 'itcast02:9000' (active) 这个时候itcast02上的NameNode变成了active 在执行命令: hadoop fs -ls / -rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile 刚才上传的文件依然存在!!! 手动启动那个挂掉的NameNode sbin/hadoop-daemon.sh start namenode 通过浏览器访问:http://192.168.1.201:50070 NameNode 'itcast01:9000' (standby) 验证YARN: 运行一下hadoop提供的demo中的WordCount程序: hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out
  • 相关阅读:
    Linux Hung Task分析
    Linux内存都去哪了:(1)分析memblock在启动过程中对内存的影响
    《Linux/UNIX系统编程手册》第63章 IO多路复用、信号驱动IO以及epoll
    Linux内核和用户空间通信之netlink
    Linux soft lockup分析
    一款DMA性能优化记录:异步传输和指定实时信号做async IO
    Linux下时钟框架实践---一款芯片的时钟树配置
    使用Kernel NetEm和tc模拟复杂网络环境
    使用Flame Graph进行系统性能分析
    sigsuspend()阻塞:异步信号SIGIO为什么会被截胡?
  • 原文地址:https://www.cnblogs.com/lvlv/p/4755762.html
Copyright © 2020-2023  润新知