• 大数据自学1-CentOS 下安装CDH及Cloudera Manager


    前面花了一段时间将Ubuntu,Hadoop装完,装到Hbase时,发现Hbase 与Hadoop是有兼容性问题的,Hbase 2.1版是不支持Hadoop 3.11版的,怪不得装起来那么多问题了。

    Hbase 与Hadoop的兼容性详见Hbase官网

    HBase装不起来,就想着装CDH,发现又是兼容性的问题,CDH还没有推出支持最新Ubuntu版本的版本。这下悲催了,Ubuntu又不能Downgrade,况且我也不想降级,想来想去,不如在我的Windows上装个虚拟机,用CentOS来玩CDH.

    在Win7下装CentOS虚拟机,这个链接就非常非常详细了,真是感谢这些网友们的辛苦劳动。

    CentOS装完后默认是没有图形界面的,因此又在网上找资料如何开启图形界面,可参照链接,这个要注意,因为我是使用的公司电脑,公司电脑上网是有代理服务器的,如果一开始将虚拟机的网络模式设为桥接模式的话, 执行

    # yum groupinstall "X Window System" "Desktop Platform" Desktop

    会不成功,因为桥接模式下是另一个IP,是不能上网的,因此需要改回NAT模式,让虚拟机和主机共用一个IP,这样只要主机能上网,虚拟要就能上网。

    安装时提示error downloading packages  no more mirrors to try,如下图,解决方法是执行以下命令,参照链接

    1. yum clean all
    2. yum makecache

    公司同事已经下载过一个离线包CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel,所以直接离线安装

    安装CDH之前需要先安装MySql, CentOS环境下安装MySql可参照链接

    过程中需要将IP地址固定,以防重启时IP乱变,这个可参照链接

    MySQL 8.0默认的密码策码是Medium,相对来说是比较严的,比如要求最小8位长,要混合字母数字特殊符号等,如果是用于测试,可以改下这个密码策略,参照链接

    MySQL 8.0在Grant设置权限的时候出现You are not allowed to create a user with GRANT错误处理办法

    使用命令行方式操作MySQL实在是有点效率低下,因此想在Windows环境装个客户端来连接MySQL远程操作,参照链接1链接2链接3

    在初始化CM数据库执行以下命令时,一直提示SQL 语法错误,可能跟MySql版本有关,因此参考链接将MySql 8.0删除,重装MySql 5.5版本。

    scm_prepare_database.sh mysql cm -h <hostName> -u<username>  -p<password> --scm-host <hostName>  scm scm scm

    重装MySql5.5版本可以采用Yum方式也可以采用下载tar包方式,因为采用Yum方式提示下载源错误,所以采用第二种方式,参考链接

    换为MySql 5.5后,果然上面的命令就能正常执行,接下来启动Cloudera Manager Server和Agent,就可以访问7180端口进行配置了,激动...

    要特明说明一下:启动完虽然提示OK,但并不是马上可以访问7180端口,要等一段时间

    接下来继续,Cloudera服务在CentOS操作系统重启后需要手动启动,因此可以考虑设置该服务随操作系统启动而自动启动,基本上按照链接上的操作就能成功,唯一的不同就是该链接上讲道:新增jdk引入:export JAVA_HOME=jdk目录,这个我没有加,因为在其他全局配置项已经设置。

    Host Monitor和Service Monitor都无法启动的解决办法,里面讲到了句柄数ulimit,不懂意思,先囫囵吞枣再慢慢消化。

  • 相关阅读:
    12 go实现几中基本排序算法
    5 控制语句
    9 函数
    4. 常量与运算符
    AI
    AI
    AI
    AI
    ML
    ML
  • 原文地址:https://www.cnblogs.com/dimg/p/9933127.html
Copyright © 2020-2023  润新知