adp环境配置文档
adp环境配置文档 1
一，环境的基础配置同Apache hadoop类似（可参考） 1
二，不同配置之处 1
2.1 同步时钟 1
三． Hdp服务器配置 2
3.1 资源库的配置 2
3.2安装mysql 2
3.3安装配置Ambari 3
3.4重启Ambari-server 4
3.5启动图界面 4
3.5.1在物理主机浏览器 4
3.5.2 登陆 4
3.5.3开始搭建 4
3.5.4选择配置主机 5
3.5.5 注册主机 代理段 和通信 5
3.5.6 选择需要的组件 5
3.5.7分配主机 5
3.5.8 选择client端 6
3.5.9 Customize services 6
3.6.10部署安装 6
部署完成 6
3.6测试 6
3.6.1登陆到虚拟主机 6
一，环境的基础配置同Apache hadoop类似（可参考）
二，不同配置之处
2.1 同步时钟
每台机器同步一下时间
yum -y install ntp*
crontab -e * */1 * * * /usr/sbin/ntpdate time.nist.gov
每一个小时同步一次
三．Hdp服务器配置
3.1 资源库的配置
3.1.1
先装操着系统包
yum -y install createrepo
3.1.2
解压 Ambarri压缩包
tar -xvzf ambari*
tar -xvzf hdp-2*
tar -xvzf hap-u*
3.2 制作资源库的索引
Createrepo -v Ambari*
Careterepo -v hdp*
Careaterepo -v hdp-u*
3.3 配置资源库
新建ambari.repo文件
cd /etc/yum.repos.d/
ls
Vi ambri.repo
将此内容考入
[ambari]
name=ambari
baseurl=http://192.168.131.7/AMBARI-2.2.1.0
enable=1 gpgcheck=0
3.4起动服务
在解压包所在位置启动服务
Nohup python -m simpleHTTPServer 80 &
回车
3.5 清理yum 缓存
yum clean all
3.6将 Ambari.repo 文件复制到host2
Scp ambari.repo host2:$PWD
3.2安装mysql
3.2.1解压mysql
Tar -vxf mysql*
3.2.2安装mysql
yum -y install MySQL-devel-5.6.21-1.el6.x86_64.rpm
yum -y install MySQL-client-5.6.21-1.el6.x86_64.rpm
yum -y install MySQL-server-5.6.21-1.el6.x86_64.rpm
yum -y install MySQL-shared*
yum -y install MySQL-embedded-5.6.21-1.el6.x86_64.rpm
yum -y install MySQL-test-5.6.21-1.el6.x86_64.rpm
可能会报错
删除包冲突即可
yum -y remove mysql-libs-*
3.2.3重启服务
Service mysql restart
查看初始密码
Cat /root/.mysql_secret
登陆
Mysql -uroot -p（粘贴密码）
登陆之后修改密码
SET PASSWORD = PASSWORD('123456');
创建数据库并赋予权限
Create database ambari;
Create database hive;
Create database oozie;
grant all privileges on ambari.* to 'ambari'@'%' identified by 'ambari';
grant all privileges on hive.* to 'hive'@'%' identified by 'hive';
grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie'; flush privileges;
3.3安装配置Ambari
3.3.1 安装Ambari包
yum install ambari-server
3.3.3 复制mysql驱动
cp mysql-connector-java-5.1.38-bin.jar /usr/lib/ambari-server/
3.3.4 设置Ambari
Ambari-server setup
很关键
Y
用户默认
Jdk自己的复制路径
数据库选择 3 mysql
Hostname 指定本机ip
密码改成ambari
然后提示复制驱动
打开另一个窗口
将mysql驱动放入 /usr/share/java
Mkdir -p /usr/share/java
Cp mysql-驱动 /usr/share/java
回到设置窗口继续
数据库见表
打开另一个窗口链接mysql数据库
Mysql -uroot -p123456
Use ambari
Source /var/lib/ambari-server/resources/ambari-DD-MYSQL-CREATE.sql
减万表之后
回到ambari设置输入y
设置基本完成
3.4重启Ambari-server
3.4.1 重启 ambari
Ambari-server restart
3.4.2 赋值jdbc
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/lib/ambari-server/mysql-connector-java-5.1.38-bin.jar
3.5启动图界面
3.5.1在物理主机浏览器
在物理主机浏览器输入虚拟主机ip及8080端口
3.5.2 登陆
账号 admin
密码 admin
3.5.3开始搭建
点击 launch install *
起个名，随便起
下一步
选hdp2，4
然后选一下配置
Redhat6其他不要打勾
HDP-2.4 路径是刚才起的那个后台服务路径
例如 HDP2.4 192.168.131.7/HDP
HDP-U* 192.168.131.7/HDP-U*
配置完之后 最下面勾选 skip 跳过
然后下一步
3.5.4选择配置主机
输入 例如 host1
Host2
下载ssh 私钥
添加到文件 浏览
下一步
3.5.5 注册主机 代理段 和通信
更新ssh
Yum upgrade openssl
重新注册
Retry
关闭*****
echo never > /sys/kernel/mm/redh*/enable
将文件写入/etc/rc.local
保存
两个主机都操作
回到界面继续检查
3.5.6 选择需要的组件
Hdfs
Yarn+mapr
Pig
Zookeeper
Hive
Tez
Ambari ,gt 监控状态
3.5.7分配主机
将host1上的zookooer 杀掉
3.5.8 选择client端
Datanode
Client
Nodemanger
双选
3.5.9 Customize services
两个标红
其他不要动
标红的改 hive adviance
选择存在mysql数据库
在host1主机上
用户 hive
密码hive
点击测试链接
Ambari marcs
密码随便输
点击下一步
3.6.10部署安装
部署完成
3.6测试
3.6.1登陆到虚拟主机
切换用户 su hdfs
查看文件 hadoop fs -ls /
内有八个文件
切换到hive用户
进入 hive命令
创建test表
Create table test1( a string）;
Show tables;