• CDH 5.16.2配置lzo压缩


    1、下载相关parcel

    网址:http://archive.cloudera.com/gplextras5/parcels/5.16.2/

    GPLEXTRAS-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1无法下载,将里面内容粘贴出来手动创建对应文件复制进去

     

    2、配置包到cloudera-manager共享目录

    因为使用的是parcels安装,首先将下载好的文件放到cloudera-manager共享的目录中,此处为:

     

    3、安装lzo服务

    Cloudera-manager控制页面,主机->parcel->检查新Parcel,如果配置正确,则出现如下界面:

     

    分配,激活后会出现如下界面:

     

    4、修改配置集群的lzo服务

    4.1 修改HDFS配置

    io.compression.codecs属性值中追加如下值:

    com.hadoop.compression.lzo.LzoCodec

    com.hadoop.compression.lzo.LzopCodec

    如下图所示:

     

    4.2 修改YARN配置

    mapreduce.application.classpath的属性值增加一项:/opt /opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*

    如下图所示:

     

    4.3 修改MR应用程序环境

    修改mapreduce.admin.user.env的属性值,增加一项:

    /opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native,如下图所示:

     

    4.4 修改Hive

     

    4.5 重启集群

  • 相关阅读:
    ubuntu18.04 扩展根目录 亲测有效
    mysql数据恢复
    java多线程
    jenkins安装搭建及使用
    springboot web开发
    git版本管理
    docker安装部署项目
    vue nuxt项目部署
    IntelliJ IDEA常用快捷键
    IntelliJ IDEA常用设置
  • 原文地址:https://www.cnblogs.com/qfdy123/p/15006490.html
Copyright © 2020-2023  润新知