• Cloudera Hadoop(四) —— docker搭建CDH


    前面记录了两篇HDFS理论的笔记,对于大数据技术的操作,都是在公司工作中进行的,无法将其展示在自己的博客中。

    今天自己电脑上搭建一个CDH环境,以便于后面的编码实操,帮助自己做个记录。

    MAC OS安装Docker

    下载&安装

    我使用的是FlashDownLoad这个软件,类似迅雷,但是不会被限速。将下载地址放到下载软件中就行。

    docker的下载地址: https://download.docker.com/mac/stable/Docker.dmg

    下载完毕之后就跟安装普通的MAC 应用程序一样,拖到应用程序中就行,一个鲸鱼运输船就有了。

    检查安装是否成功,打开终端,输入命令检查版本

          docker version
    

    更换镜像

    在国内,默认的docker镜像仓库下载速度太慢了,而CDH的镜像文件有四五个G。所有我自定义了镜像仓库的地址

    在Docker Engine这栏中,右侧更换自己的仓库地址,我使用的是阿里云的镜像仓库地址

    {
          "registry-mirrors": ["https://${自己的序号}.mirror.aliyuncs.com"]
    }
    

    编辑完,点击Apply&Restart就完成了镜像仓库更换,如果不知道阿里云仓库地址哪里获得,可以看下面的,知道则跳到Docker安装CDH

    获得阿里云仓库地址

    1. 登录阿里云官网: www.aliyun.com

    2. 登录自己的阿里云账号

    3. 进入控制台

    4. 点击产品与服务,找到容器镜像服务

    5. 找到镜像加速器,点击进入页面,免费获得镜像地址

    Docker安装CDH

    1. 下载镜像
    docker pull cloudera/quickstart:latest
    
    1. 启动容器
    docker run --name cdh -m 8192M --memory-swap -1 --hostname=quickstart.cloudera --privileged=true -t -i -p 7180:7180 -p 7187:7187 -p 1080:1080 -p 4200:4200 -p 7777:7777 -p 7788:7788 -p 8000:8000 -p 8080:8080 -p 8744:8744 -p 8886:8886 -p 9088:9088 -p 9089:9089 -p 61080:61080 -p 61888:61888 -p 4040:4040 -p 6080:6080 -p 8042:8042 -p 8088:8088 -p 8188:8188 -p 8888:8888 -p 9995:9995 -p 11000:11000 -p 15000:15000 -p 16010:16010 -p 18081:18081 -p 19888:19888 -p 21000:21000 -p 21050:21050 -p 50010:50010 -p 50020:50020 -p 50070:50070 -p 50075:50075 -p 50111:50111 -p 8081:8081 -p 2182:2182 -p 2202:2202 -p 4557:4557 -p 6627:6627 -p 6667:6667 -p 9090:9090 -p 9091:9091 -p 15500:15500 -p 1100:1100 -p 1111:1111 -p 1988:1988 -p 2100:2100 -p 2181:2181 -p 2201:2201 -p 2222:2222 -p 3000:3000 -p 4242:4242 -p 10002:10002 -p 5007:5007 -p 5011:5011 -p 6001:6001 -p 6003:6003 -p 6008:6008 -p 6188:6188 -p 8005:8005 -p 8020:8020 -p 8032:8032 -p 8040:8040 -p 8082:8082 -p 8086:8086 -p 8090:8090 -p 8091:8091 -p 8443:8443 -p 25010:25010 -p 8765:8765 -p 8889:8889 -p 8983:8983 -p 8993:8993 -p 9000:9000 -p 9996:9996 -p 10000:10000 -p 10001:10001 -p 10015:10015 -p 10016:10016 -p 10500:10500 -p 10502:10502 -p 12049:12049 -p 12200:12200 -p 15002:15002 -p 16000:16000 -p 16020:16020 -p 16030:16030 -p 18080:18080 -p 33553:33553 -p 39419:39419 -p 42111:42111 -p 50079:50079 -p 50095:50095 -p 60000:60000 -p 60080:60080 cloudera/quickstart /bin/bash -c '/usr/bin/docker-quickstart && /home/cloudera/cloudera-manager --express && service ntpd start'
    

    以上参数说明:
    -m 指定容器最大使用内存
    –memory-swap 指定可使用的swap -1表示不限制
    –hostname 指定容器的主机名
    -p 指定一堆web portal的端口映射

    进入容器; 启动cloudera-maneger

    $ docker exec -it cdh /bin/bash
    
    $ /home/cloudera/cloudera-manager --enterprise  --force
    

    MAC本机修改host,添加映射

    $ sudo vim /etc/hosts
    
    127.0.0.1 quickstart.cloudera
    
    

    本地浏览器访问: http://quickstart.cloudera:7180 进入CDH管理界面
    账号密码: cloudera/cloudera

  • 相关阅读:
    JAVA动态代理
    图解 Tomcat 体系结构
    AdvancedDataGrid的使用
    You have an error in your SQL syntax; check the manual that corresponds...错误解决方案
    更新整站索引时失败,错误原因: [Incorrect integer value: `` for column `uptime` at row 1]
    dedecms转换v9 卡住的解决办法
    IIS 涉及到500和403或者404友好错误的设置!
    PHP Warning: date(): It is not safe to rely on the system's timezone settings
    不能读取记录;在 'MSysObjects' 上没有读取数据权限
    PHP5.3.5如何连接MSSql Server2005
  • 原文地址:https://www.cnblogs.com/qiutianyou/p/13875907.html
Copyright © 2020-2023  润新知