阅读目录
本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。
文章是哥(mephisto)写的,SourceLink
序
上一篇,我们把Ambari的环境基本搭建好了,那么我们趁热打铁,打造我们的第一个HDP集群,这样,离我们下一步就越来越近了,在安装中还是会碰到很多想不到的情况的。所以,注意分析,找到解决方法很重要。
对了,这里我们还是多搭建了一个机器H34,怕集群机器不够。大家按照原来的步骤在做一个吧。
集群搭建
一:登陆
使用我们设置的Ambari服务器登陆,还记得么,在H30上面。
二:主界面
我们看到圈起来的地方就是我们要搭建集群的地方。
三:新建集群
这里,我们使用MyCluster作为我们第一个集群的名称。
四:选择HDP版本和源
我们当然选择最新的HDP2.3,玩就玩最新的,要不老是在别人后面,多不好啊。
这里我们得设置HDP和 HDP-UTILS的源,我们已经搭建好了仓库,可以直接使用本地源了。
五:将SSH私有Key放到本机
由于是页面登陆,当然如果H30开启了GUI界面,是可以不用这个操作的。
目前我们使用的没有GUI界面的Linux,所以,得在浏览器使用的机器上能使用的到ssh private key。
过程很简单,就不上图了。
六:选择带集群的机器
这里我们选择了事前准备好的H31,H32,H33这3台机器,由于本机的性能一般,很快内存,IO就占满了,所以没有使用很多的机器做集群。
七:修改ambari.repo文件
vim /etc/yum.repos.d/ambari.repo
将线上库改成本地的http资源。
八:Confirm Hosts
核实主机群。确保这里待集群主机有符合的运行环境。
九:选择待安装库
我们根据自己的需要来选择带安装的。
十:集群结构搭建
我们选择H31作为主NameNode,H32作为Second NameNode。
十一:集群结构搭建2
选择H31,H32作为NodeManager,H33,H34作为DataNode
十二:自定义服务群
这里,一半NameNode需要比较大内存的,但是没办法,所以 这里也不自定义修改了,就那么多,全用了。
十三:Review
Review下我们的配置情况。
十四:Deploy
开始安装等环节了。
十五:Deploy2
我们可以看到success了。
十六:Summary
安装过程的总结。
监控
一:仪表盘
在这里,我们可以全面,直观的看到整个集群的运行情况,可以大大的提高了运维的效率。
二:服务
在这里,可以看到例如HDFS,Zookeeper,SparK这些服务的情况。
三:Hosts
我们可以看到,集群中所有的主机信息,状态。
四:报警
如果集群中出现了什么问题,这里是可以实时的监控的到的,很是方便。
到此,我们这章节的内容已经完毕,基本上环境搭建的部分告一段落,后面我们就是对HDP的应用了。
系列索引
本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。
文章是哥(mephisto)写的,SourceLink