• hadoop再次集群搭建(5)-CDH Install


       登录 http://node1.com:7180/.用户名和密码都是admin。启动服务命令是
    service  cloudera-scm-server start

    最开始两个页面直接continue,然后会出现下面这个页面:

    可以看出我们可以通过Cloudera Manager安装的hadoop组件。

    接下来,配置我们要安装的服务器有哪些:
    我这里有三台服务器。

    接下来选择cdh版本:我选择最新的5.5.1


    是否安装jdk:


    是否是单用户模式:我选择不适用



    在常规 Cloudera Manager 部署中,管理每个主机上的 Hadoop 进程的 Cloudera Manager Agent 以根用户运行。但是,某些环境限制对根帐户的访问。

    Cloudera Manager 5.3 提供了单用户模式,从而满足了对些类环境的要求。在单用户模式中,Cloudera Manager Agent 和所有由 Cloudera Manager 所管理服务运行的进程作为单个配置的用户和组启动。在系统上运行的 Hadoop 进程之间,单用户模式确定 Hadoop 与系统其他部分(隔离以外)之间的隔离的优先级。

    在 Cloudera Manager 部署中,单用户模式为全局模式,并且适用于所有由该 Cloudera Manager 实例管理的群集。

    默认情况下,单用户为 cloudera-scm,并且在以下部分所描述的配置步骤中假定该用户用单用户。但是,也支持其他用户。如果选择其他用户,请在以下步骤中使用所选用户替换 cloudera-scm,并执行 使用非默认单用户 中的附加步骤。




    接下来提供集群的 ssh登录配置。


    这里选择了root用户,选择hadoop怎么弄都不行,现在还是没有找到原因。我的hadoop是有user权限的,不知道为什么不行。

    接下来就是安装界面:



    可以查看details看到运行的脚本。也可以通过网络监控查看下载的速度:


    可以看出下载速度其实挺快的。有这个网络监控工具可以大致看到集群内部的连接状态:




    安装过程中node2老是报错,经过检查原来是node2上面的hosts文件配置错误,导致不能创建socket。所以集群一定要保证每一台服务器都可以相互通信,这是前提。


    然后就是安装cdh了:

    下载完成,分发:这里下载只是在server这个机器上下载,下载一次之后分发给其他的服务器:
    安装成功之后,进行集群检查,出现如下提示:

    第一个警示是:系统的交换参数是60而集群要求的是10,需要进行修改
    第二个是 Transparent Huge Page Compaction开启,会极大的影响集群的性能,需要关闭。
    修改步骤:
    第一个是  /proc/sys/vm/swappiness的值为60 而不是10,而这个文件是不能够修改的。解决方法是修改 /etc/sysctl.conf 增加vm.swappiness=10在最后
    第二个直接运行echo never > /sys/kernel/mm/transparent_hugepage/defrag 然后增加同样的命令道系统初始化的脚本中。 /etc/rc.local 加在这个文件里面

    然后是设置集群


    集群配置我选择默认,感觉node1服务比较多,配置低的盆友可以适当均匀一下。
    然后是测试数据库:集群需要使用数据库进行工作,包括hive等进行存储元数据



    完成安装:




    Charles 于2015-12-17 Phnom Penh



    版权说明:
    本文由Charles Dong原创,本人支持开源以及免费有益的传播,反对商业化谋利。
    CSDN博客:http://blog.csdn.net/mrcharles
    个人站:http://blog.xingbod.cn
    EMAIL:charles@xingbod.cn

  • 相关阅读:
    extjs 登录
    Digg 顶 踩(jQuery+Ajax)
    长度不能小于 0。 参数名: length
    .net 资料
    Micromedia Flash Player已终止一项可能不安全的操作解决办法
    SQL SERVER 与ACCESS、EXCEL的数据转换
    排名 sql
    FileUploaderAJAX 无刷新上传
    Microsoft Office Access ActiveX 部件不能创建对象
    流量分析作用
  • 原文地址:https://www.cnblogs.com/mrcharles/p/5067980.html
Copyright © 2020-2023  润新知