HA高可用搭建框图
YARN mr 2.x
ResourceManager :只资源管理
AppMstr 任务调度:询问ResourceManager之后先创建容器container,开辟maptask和reducetask。
NodeManager:向RM汇报资源信息。
RM也需要HA(高可用):通过ZooKeeper实现。
AppMstr:不是常服务。一个job作业对应一个AppMstr。
hadoop集群搭建(四台虚拟机)
分布式存储:
NN-1 namenode主结点
NN-1 namenode备结点
DN datanode
ZK zookeeper
ZKFC 在namenode上监控健康
JNN journalnode:两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。也使得主节点active、standby状态的切换。
计算(和存储部分的搭建实际上没什么关系):
RS resourceManager
NM nodeManager:管理本datanode的资源,所以要和datanode一一对应。
hadoop启动顺序
zkServer.sh start 启动zookeeper
start-dfs.sh 启动namenode、datanode、journalnode、zkfc
start-yarn.sh 启动nodeManager
yarn-daemon.sh start resourcemanager 启动resourceManager
hadoop启动顺序
yarn-daemon.sh stop resourcemanager 关闭resourceManager
stop-all.sh