• [转]CDH QuickStart VM基本使用


    https://blog.csdn.net/wiborgite/article/details/78731944

     https://www.cnblogs.com/harrychinese/p/big_data_platform_quickstart.html

    https://www.lookfor404.com/cloudera-quickstart-vm-%E9%9B%86%E6%88%90%E4%BA%86%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%99%9A%E6%8B%9F%E6%9C%BA%E9%95%9C%E5%83%8F/

    CDH 和 Cloudera Manager 是什么

    CDH (Cloudera's Distribution, including Apache Hadoop), 是Cloudera发行的Hadoop发行版, 基于Hadoop稳定版, 并集成了许多补丁, 可以直接在生产环境中使用.

    Cloudera Manager 是 Cloudera 推出的大数据解决方案, 已经在安装/配置/监控方面做了大量的工作.它不仅包含CDH, 而且集成了很多常用的组件, 比如 HBASE, Hue, Impala, Kudu, Oozie, Kafka, Sentry, Solr, Spark, YARN, ZooKeeper 等, 它分为两个版本Cloudera Express 和 Cloudera Enterprise .
    Cloudera Express免费使用, Cloudera Enterprise 需要支付费用. Express版本最高支持50个节点, 而且不限制用到生产环境, Enterprise版包含一些非常高级的功能以及官方支持, 对于普通用户来讲, Express就足够了. http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_feature_differences.html

    我推荐: Cloudera Express版

    前几天和朋友聊天,他告诉我有一个cloudera-quickstart,这是一个集成了大部分大数据组件的虚拟机镜像系统,反正就是–不用配置了,包括hadoop,hbase,hive,hue,spark,zookeeper等等,是cloudera定制的版本,还有cloudera的管理组件。我们只需要把镜像下下来,直接在visualbox或者vmvare里面运行就行。

    于是我就自己尝试了一下vmvare的版本,不过出了问题,主要是内存不足。在这里也提醒一下想用quickstart-vm的朋友,你得保证你的电脑至少有8g的内存,配置越高越好,不然会很卡。

    下面记录一下自己运行cloudera-quickstart-vm的vmvare版本。

    下载地址:http://www.cloudera.com/downloads.html

    第一个就是quickstart-vm:

    quickstart-vm下载

    点击download下载。我下载的是vmvare的版本。PS:下载的时候可能会要求你登陆账号,注册一个就好。我得到的下载链接是:https://downloads.cloudera.com/demo_vm/vmware/cloudera-quickstart-vm-5.5.0-0-vmware.zip

    整个zip大小4g多,本地用迅雷下载速度也快不到哪里去,于是我用百度网盘离线下载,秒下,然后再从百度云下到本地。

    下载完成,解压。

    打开vmvare,点击菜单栏上的文件–打开,找到刚才解压的路径,就能发现有一个vmx文件,打开它。

    quickstart-vm虚拟机文件

    打开之后,vmvare是这样的:

    打开vmx文件的vmvare

    先别急着运行,要先更改虚拟机的配置,你需要把这台虚拟机设置到至少8g内存(这意味着你的电脑需要至少需要8g内存,没有的话,会非常非常卡,而且一堆错误),处理器设置成至少两个。

    vmvare内存和处理器的设置

    这时候,可以启动这台虚拟机了。启动之后,它会自动启动火狐浏览器,打开一个初始页面:

    quickstart初始界面

    怎么进入管理界面呢?

    运行桌面的cloudera express命令脚本即可。

    如果出现以下错误,说明你的虚拟机没有设置到8g内存和两个处理器,请设置完毕再重新打开这个虚拟机。

    quickstart错误

    想强制启动的话,可以在终端运行以下命令:

    sudo /home/cloudera/cloudera-manager --express --force

    不出意外的话,启动成功了:

    cloudera-quickstart管理组件启动成功

    接下来可以去浏览器直接管理了。

    打开内置的火狐,输入网址:http://quickstart.cloudera:7180

    登录账号:cloudera
    登录密码:cloudera

    登陆之后,就可以看到管理界面了:

    cloudera管理界面

    可以看到,左边是整合的大数据工具,点击对应的下拉按钮,就可以启动,关闭,管理这些组件了。

    PS:由于电脑内存太小,所以这个整合了所有单机版大数据工具的系统,我用的并不顺手,这里仅把过程记录下来,供大家参考。

    PPS:还是乖乖搭环境去了

  • 相关阅读:
    JIRA4.1 主要功能
    linux之间的远程复制文件
    我在做测试 1
    JOGL简介与安装
    Eclipse RCP中的IAdaptable是什么?
    如何实现关系表的级联删除(ON DELETE CASCADE的用法)
    ubuntu 安装mysql+apache+php
    ubuntu10.10安装VMWare tools
    Struts2 Unable to load configuration. bean 错误解决
    MySQL Workbench “Error Code: 1175” 的解决方法
  • 原文地址:https://www.cnblogs.com/wincai/p/10317916.html
Copyright © 2020-2023  润新知