环境
虚拟机:VMware 10
Linux版本:CentOS-6.5-x86_64
客户端:Xshell4
FTP:Xftp4
jdk8
zookeeper-3.4.11
一、CDH
在商业应用中,对于企业成百上千的机器集群进行安装hadoop一系列组件费时费力,而且hadoop各个开源组件版本混乱,管理升级也比较困难,对于企业日常的管理维护带来极大不b便,现在商用的比较流行国外的是CDH(Cloudera’s Distribution Including Apache Hadoop),国内是星环、华为等公司,他们改造封装了HADOOP生态组件来出售。
CDH,是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,版本清晰,更新快,文档全,安装方式多(Yum、Rpm、Cloudera Manager、Tarball)
二、ClouderaManager
Cloudera Manager是一个管理CDH的端到端的应用。
作用:管理、监控、诊断、集成
Server
管理控制台服务器和应用程序逻辑
负责软件安装、配置
启动和停止服务
管理服务运行的群集
Agent
安装在每台主机上
负责启动和停止进程,配置,监控主机
Management Service
由一组角色组成的服务,执行各种监视、报警和报告功能
Database:存储配置和监控信息
Cloudera Repository:可供Cloudera Manager分配的软件的存储库(repo库)
Clients:用于与服务器进行交互的接口
Admin Console:管理员控制台
API:开发人员使用 API可以创建自定义的Cloudera Manager应用程序
CDH与CM下载:
CDH5.4
http://archive.cloudera.com/cdh5/
Cloudera Manager5.4.3:
http://www.cloudera.com/downloads/manager/5-4-3.html