创建cloudera-cdh5本地yum源
1目的:
为在centos6.5 搭建cdh5集群,而创建本地yum源。
2 过程:
2.1前提步骤:搭建tomcat web站点
参考:
CentOS-6.3安装配置Tomcat-7 - Constantin - 博客园
http://www.cnblogs.com/zhoulf/archive/2013/02/04/2891633.html
我的tomcat安装目录:
/usr/local/tomcat7
2.2搭建本地yum
1.配置CDH5的官方源
使用cloudera的一键包,或手动下载CDH5的.repo文件
rpm -Uvh http://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm
或
wget http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo
mv cloudera-cdh5.repo /ect/yum.repo.d/
2.安装yum工具
yum install -y yum-utils createrepo
3.同步CDH5的源
注意,“cloudera-cdh5”应该与/ect/yum.repo.d/下的cdh的.repo文件名一致
过程中可能因为连接不好而中断,请在repo sync之前运行,
sudo sysctl -w net.ipv4.tcp_window_scaling=0 来改变TCP连接
reposync -r cloudera-cdh5
开始向cloudera-cdh5下载软件包。
这个步骤的执行时间看网络情况,完成看到:
4.链接或移动同步的rpm文件夹到前一步的tomcat的能访问的页面下:
mv /etc/yum.repos.d/cloudera-cdh5 /usr/local/tomcat7/webapps/ROOT/cloudera-cdh5
或
ln -s /etc/yum.repos.d/cloudera-cdh5 /usr/local/tomcat7/webapps/ROOT/cloudera-cdh5
(用软链接的时候,用绝对路径)
5.创建repo
cd /var/www/html/mirrors/cdh/cloudera-cdh5
createrepo .
(参数是当前目录那个点)
6.修改指向CDH的.repo文件
vi /etc/yum.repo.d/cloudera-cdh5.repo
baseurl=http://crxyum.crxy:8080/cloudera-cdh5/
7.验证yum源
yum update && yum install hadoop
正确显示hadoop的包即正确
8.使用方法
把前面修改后的/etc/yum.repos.d/cloudera-cdh5.repo,替换hadoop集群中对应文件
需要配置/etc/hosts文件来解析crxyum.crxy主机
之后再其他主机上安装hadoop软件的时候如:
sudo yum clean all; sudo yum install hadoop-yarn-resourcemanager
参考:
Creating a Local Yum Repository
CentOS 6.5 搭建CDH5源 - Beckham008的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/beckham008/article/details/17750747
Installing CDH 5
2.3问题:
Qes1
Too many levels of symbolic links 问题 - 张贺 - 博客园
http://www.cnblogs.com/gbyukg/archive/2011/11/30/2269582.html
Qes2
TOMCAT怎么设置才能访问软连接的文件夹 - ccuzjs的日志 - 网易博客
http://ccuzjs.blog.163.com/blog/static/30438443201111214141180/
附: 创建cloudera-manager本地yum源
cd /etc/yum.repo
mkdir cloudera-manager
reposync -r cloudera-manager
ln -s /etc/yum.repos.d/cloudera-manager /usr/local/tomcat7/webapps/ROOT/cloudera-manager
baseurl = http://crxyum.crxy:8080/cloudra-manager/
其他补助参考前面。
附:使用yum代理
yum配置文件写代理IP,port
在/etc/yum.conf加入如下内容:http_proxy=http://server:port。
最好在/etc/yum.conf增加timeout时间,timeout=55555。自己设置长点就行。