• 1.5.7、CDH 搭建Hadoop在安装之前(定制安装解决方案---配置单用户模式)

    配置单用户模式

    在传统的Cloudera Manager部署中，管理每台主机上的Hadoop进程的Cloudera Manager Agent以root用户身份运行。但是，某些环境会限制对root帐户的访问。

    Cloudera Manager 5.3及更高版本提供单用户模式，满足此类环境的要求。在单用户模式下，Cloudera Manager Agent和由Cloudera Manager管理的服务运行的所有进程将作为单个已配置的用户和组启动。单用户模式优先考虑Hadoop与系统其余部分之间的隔离，而不是在系统上运行的Hadoop进程之间进行隔离。

    在Cloudera Manager部署中，单用户模式是全局模式，适用于由该Cloudera Manager实例管理的所有集群。

    默认情况下，单个用户是 Cloudera的供应链管理并且以下部分中描述的配置步骤假定该用户。但是，支持其他用户。如果您选择其他用户，请替换Cloudera的供应链管理在以下步骤中使用所选用户，并执行使用非默认单个用户中的其他步骤。

    限制

    • 不支持在传统和单用户模式之间切换。重要：在管理 > 设置中，有一个单用户模式复选框。安装后不要启用或禁用该复选框。
    • 运行CDH 5.2及更高版本的群集支持单用户模式。
    • 单用户模式不支持NFS网关。
    • 单用户模式不支持Cloudera Navigator数据加密组件。
    • 单用户模式不支持Kudu。
     

    使用非默认单个用户

    为默认用户以外的用户配置单用户模式时（Cloudera-scm），执行以下配置步骤：

    • 使单个用户可写入以下目录：
      • /var/log/cloudera-scm-agent/
      • /var/lib/cloudera-scm-agent/
    • Cloudera Manager将包裹存放在 /opt/cloudera，默认情况下归其所有 Cloudera-scm。执行以下操作之一：
      • 更改 /opt/cloudera 可由单个用户写入。
      • 将parcel目录位置更改为单个用户可写：
        1. 转至管理 > 设置 > 包裹。  Administration > Settings > Parcels.
        2. 设置“ 本地宗地存储库路径”属性。
        3. 单击保存更改。
    • 对于单个用户的用户名，请在以下位置创建进程限制配置文件/etc/security/limits.d/username.conf 使用以下设置： 
      username soft nofile 32768
 username soft nproc 65536
 username hard nofile 1048576
 username hard nproc unlimited
 username hard memlock unlimited
 username soft memlock unlimited

    在安装路径B和C中启动Cloudera Manager Agent之前的配置步骤

    • 如果手动安装代理程序包，则在启动代理程序之前，将其配置为以运行方式运行 Cloudera的供应链管理 通过编辑文件 的/ etc /默认/ Cloudera的-SCM-剂 并取消注释该行： 
      USER = “Cloudera-scm”
    • 配置parcels目录。执行以下操作之一：
      • 在每个主机上，在代理配置文件中 /etc/cloudera-scm-agent/config.ini，设置 parcel_dir 属性：
        # Parcel directory.  Unpacked parcels will be stored in this directory.
        # Downloaded parcels will be stored in <parcel_dir>/../parcel-cache
        # parcel_dir=/opt/cloudera/parcels
        1. 单击顶部导航栏中的“ 主机 ”。
        2. 单击“ 配置”选项卡。
        3. 选择类别 > 包裹。
        4. 配置Parcel Directory属性的值。设置parcel_dirCloudera Manager Agent配置文件中的属性会覆盖此设置。
        5. 单击“ 保存更改”以提交更改。
        6. 在所有主机上重新启动 Cloudera Manager Agent。

    运行安装向导之前的配置步骤

    在将群集配置为在单用户模式下运行之前，必须在群集中的所有主机上执行以下步骤：
    • 为单个用户提供无密码的sudo访问权限。如果用户不存在，则必须创建该用户。实现此目的的一种常见方法是通过运行以下命令将用户添加到已配置的sudoers组： 
      usermod -a -G sudo cloudera-scm
      或添加新的sudo配置 Cloudera-scm 通过运行命令分组 visudo然后添加以下行：
      ％cloudera-scm ALL =（ALL）NOPASSWD：ALL
    • 必须配置Sudo以便 /usr/sbin是在运行sudo时的路径。实现此目的的一种方法是将以下配置添加到sudoers：
      1. 编辑 在/etc/sudoers文件使用 visudo命令
      2. 将此行添加到配置文件中：
        Defaults secure_path = /sbin/bin/usr/sbin:/usr/bin
    • 设置每个用户限制 苏 在设置代理之前。
      1. 编辑/etc/pam.d/su。
      2. 取消注释：
        session required pam_limits.so
    • 在Tomcat上运行的角色需要一些目录存在于不可配置的路径中。必须创建以下目录并且可以写入Cloudera的供应链管理：
      • HDFS（HttpFS角色） -/var/lib/hadoop-httpfs
      • Oozie服务器 -/var/lib/oozie
      • Sqoop 2服务器 -/var/lib/sqoop2
      • Solr服务器 -/var/lib/solr
    • Cloudera建议您创建前缀目录（例如， /cm）拥有 Cloudera-scm将放置所有其他服务目录。在单用户模式下，Cloudera Manager Agent在前缀目录下创建具有正确所有权的目录。如果主机上有其他卷将用于数据目录，Cloudera建议在每个卷上创建一个目录（例如，/DATA0/cm和 /DATA1/cm）可写的 Cloudera-scm。

    配置步骤在安装路径B和C中启动安装向导之前

    针对指示的方案执行以下步骤：

    • 路径C - 执行以下操作之一：
      • 创建和更改所有权 /var/lib/cloudera-scm-server 给单个用户。
      • 将Cloudera Manager Server本地存储目录设置为单个用户拥有的目录：
        1. 转至管理 > 设置 > 高级。
        2. 将Cloudera Manager Server本地数据存储目录属性设置为单个用户拥有的目录。
        3. 单击“ 保存更改”以提交更改。
    • 使用已托管主机时的路径B和C - 配置单用户模式：
      1. 转至管理 > 设置 > 高级。
      2. 选中单用户模式复选框。
      3. 单击“ 保存更改”以提交更改。

    运行安装向导时的配置步骤

    使用安装向导在Cloudera Manager中配置第一个集群时，您可以选择以单用户模式设置集群。这会将代理配置为以其身份运行Cloudera-scm。

    在审阅配置步骤中，您确认所有已配置的路径都是可写的 Cloudera的供应链管理。只要父目录可写，目录本身就不必存在Cloudera-scm。

    在标准审阅配置页面之后，其他路径配置页面将显示将在群集中创建的服务的所有可配置路径。这些也必须修改为可写的位置Cloudera-scm。在大多数情况下，需要从默认位置修改的路径分为两类：
    • 路径下 /var - 这些是 log， run，和 data 不同服务的目录。
    • 每卷数据目录 - 这些是列出每个卷的目录的数据目录配置。这些配置由HDFS，MapReduce，YARN和Impala使用。

    安全群集的配置

    在单用户模式下设置安全HDFS时，您必须执行一些其他配置：

    控制对sudo命令的访问

    要符合安全要求，您可能需要控制对Cloudera Manager Agents运行的sudo命令的访问。您可以通过创建Cloudera Manager Agent运行的sudo命令的“白名单”来控制访问，或者您可以覆盖须藤 命令，以便调用拒绝某些操作的自定义脚本。

    Cloudera Manager Agents使用 须藤 对于以下常规操作：
    • 跑步 更新替代品 升级期间和更新宗地时的命令。
    • 添加需要的新角色或服务 须藤 访问 CHOWN 和 CHMOD 命令。
    • 跑步 安装 和 卸载执行使用Linux控制组（cgroups）和安装a的资源管理活动时的命令TMPFScm_processes的临时目录的挂载点。
    • 收集诊断信息，需要从中读取文件/ proc中 和 /等等 目录和特定于分发的网络配置文件。

    白名单sudo命令

    以下命令可能需要列入白名单 Cloudera的-SCM-剂用户。这可以是默认用户，Cloudera的供应链管理或您指定的单个用户。使用Linux工具根据部署需要管理对这些命令的访问。（见人 的页面 sudoers文件。）

    常规操作命令
    • cat
    • chmod
    • chown
    • cp
    • find
    • mkdir
    • mount
    • rm
    • umount
    • update-alternatives
    支持捆绑收集命令
    • bash
    • cat
    • date
    • df
    • dmesg
    • grep
    • hostname
    • ls
    • netstat
    • ps
    • rpm
    • uname
    • chkconfig
    • ethtool
    • ifconfig
    • iptables
    • lsmod
    • lspci
    • lvdisplay
    • service
    • sysctl
    • curl
    • dig
    • host
    • lsb_release
    • lscpu
    • nslookup
    • ntpstat
    • python
    • sar
    • top
    • uptime
    • vmstat
    • dmidecode
    • lsof
    • ntpq

    覆盖sudo命令

    你可以覆盖 sudo命令，以便调用自定义脚本。此脚本可以拒绝某些操作。

    要配置此脚本的位置：
    1. 编辑 /etc/cloudera-scm-agent/config.ini在所有群集主机上添加文件并添加以下行： 
      sudo_command = path_to_script
    2. 在所有群集主机上重新启动Cloudera Manager Agent： 
      service cloudera-scm-agent restart

    要帮助确定要覆盖的命令，请参阅Cloudera Manager Agent运行的典型命令的以下示例。

    Cloudera Manager Agent在单个主机上为新服务调出角色时运行的命令：
    /bin/cat /proc/cgroups
    /bin/chmod -R ugo+r /etc/accumulo/*
    /bin/chmod -R ugo+r /etc/hadoop/*
    /bin/chmod -R ugo+r /etc/hbase/*
    /bin/chmod -R ugo+r /etc/hive/*
    /bin/chmod -R ugo+r /etc/solr/*
    /bin/chmod -R ugo+r /etc/spark/*
    /bin/chmod -R ugo+r /etc/sqoop/*
    /bin/chmod 0644 /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/topology.map
    /bin/chmod 0755 /cldr/app/coolapp/opt/parcels/CDH*/lib/hue/desktop
    /bin/chmod 0755 /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/topology.py
    /bin/chmod 4754 /cldr/app/coolapp/opt/parcels/CDH*/lib/hadoop-0.20-mapreduce/sbin/Linux/task-controller
    /bin/chmod 6050 /cldr/app/coolapp/opt/parcels/CDH*/lib/hadoop-yarn/bin/container-executor
    /bin/chown -R cloudera-scm:cloudera-scm /tmp/*
    /bin/chown coolapp:coolapp /etc/hadoop/*/topology.map
    /bin/chown coolapp:coolapp /etc/hadoop/*/topology.py
    /bin/chown coolapp:coolapp /cldr/app/coolapp/var/run/coolapp-agent/process/*/topology.map
    /bin/chown coolapp:coolapp /cldr/app/coolapp/var/run/coolapp-agent/process/*/topology.py
    /bin/chown root /etc/accumulo/*
    /bin/chown root /etc/hadoop/*
    /bin/chown root /etc/hbase/*
    /bin/chown root /etc/hive/*
    /bin/chown root /etc/solr/*
    /bin/chown root /etc/spark/*
    /bin/chown root /etc/sqoop/*
    /bin/chown root /cldr/app/coolapp/opt/parcels/CDH*/lib/hadoop-0.20-mapreduce/sbin/Linux/task-controller
    /bin/chown root /cldr/app/coolapp/opt/parcels/CDH*/lib/hadoop-yarn/bin/container-executor
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/accumulo-conf /etc/accumulo/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/hadoop-conf /etc/hadoop/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/yarn-conf /etc/hadoop/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/hadoop-conf /etc/hadoop/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/yarn-conf /etc/hadoop/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/hadoop-conf /etc/hadoop/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/hadoop-conf /etc/hadoop/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/hbase-conf /etc/hbase/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/hbase-conf /etc/hbase/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/hive-conf /etc/hive/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/hive-conf /etc/hive/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/solr-conf /etc/solr/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/solr-conf /etc/solr/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/spark-conf /etc/spark/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/spark-conf /etc/spark/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/sqoop-conf /etc/sqoop/*
    /bin/cp -a /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/sqoop-conf /etc/sqoop/*
    /bin/cp -p /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/topology.map /etc/hadoop/*/topology.map
    /bin/cp -p /cldr/app/coolapp/var/run/cloudera-scm-agent/process/*/topology.py /etc/hadoop/*/topology.py
    /bin/mkdir -p /etc/accumulo
    /bin/mkdir -p /etc/flume-ng
    /bin/mkdir -p /etc/hadoop
    /bin/mkdir -p /etc/hadoop-httpfs
    /bin/mkdir -p /etc/hadoop-kms
    /bin/mkdir -p /etc/hbase
    /bin/mkdir -p /etc/hbase-solr
    /bin/mkdir -p /etc/hive
    /bin/mkdir -p /etc/hive-hcatalog
    /bin/mkdir -p /etc/hive-webhcat
    /bin/mkdir -p /etc/hue
    /bin/mkdir -p /etc/impala
    /bin/mkdir -p /etc/llama
    /bin/mkdir -p /etc/mahout
    /bin/mkdir -p /etc/oozie
    /bin/mkdir -p /etc/pig
    /bin/mkdir -p /etc/sentry
    /bin/mkdir -p /etc/solr
    /bin/mkdir -p /etc/spark
    /bin/mkdir -p /etc/sqoop
    /bin/mkdir -p /etc/sqoop2
    /bin/mkdir -p /etc/zookeeper
    /bin/mount -t cgroup -o blkio cm_cgroups /tmp/*
    /bin/mount -t cgroup -o cpu cm_cgroups /tmp/*
    /bin/mount -t cgroup -o cpuacct cm_cgroups /tmp/*
    /bin/mount -t cgroup -o memory cm_cgroups /tmp/*
    /bin/mount -t tmpfs cm_processes /cldr/app/coolapp/var/run/cloudera-scm-agent/process -o mode
    /bin/rm
    /bin/rm -rf /etc/accumulo/*
    /bin/rm -rf /etc/hadoop/*
    /bin/rm -rf /etc/hbase/*
    /bin/rm -rf /etc/hive/*
    /bin/rm -rf /etc/solr/*
    /bin/rm -rf /etc/spark/*
    /bin/rm -rf /etc/sqoop/*
    /bin/umount /tmp/*
    /usr/sbin/update-alternatives --admindir /var/lib/alternatives --altdir /etc/alternatives --display ip6tables.x86_64
    /usr/sbin/update-alternatives --admindir /var/lib/alternatives --altdir /etc/alternatives --display iptables.x86_64
    /usr/sbin/update-alternatives --admindir /var/lib/alternatives --altdir /etc/alternatives --display mta
    /usr/sbin/update-alternatives --admindir /var/lib/alternatives --altdir /etc/alternatives --display print
    /usr/sbin/update-alternatives --auto accumulo-conf
    /usr/sbin/update-alternatives --auto hadoop-conf
    /usr/sbin/update-alternatives --auto hbase-conf
    /usr/sbin/update-alternatives --auto hive-conf
    /usr/sbin/update-alternatives --auto solr-conf
    /usr/sbin/update-alternatives --auto spark-conf
    /usr/sbin/update-alternatives --auto sqoop-conf
    /usr/sbin/update-alternatives --install /etc/accumulo/conf accumulo-conf /etc/accumulo/* 51
    /usr/sbin/update-alternatives --install /etc/flume-ng/conf flume-ng-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/flume-ng/conf.empty 10
    /usr/sbin/update-alternatives --install /etc/hadoop-httpfs/conf hadoop-httpfs-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/hadoop-httpfs/conf.empty 10
    /usr/sbin/update-alternatives --install /etc/hadoop-kms/conf hadoop-kms-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/hadoop-kms/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/* 90
    /usr/sbin/update-alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/* 91
    /usr/sbin/update-alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/* 92
    /usr/sbin/update-alternatives --install /etc/hadoop/conf hadoop-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/hadoop/conf.empty 10
    /usr/sbin/update-alternatives --install /etc/hbase-solr/conf hbase-solr-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/hbase-solr/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/hbase/conf hbase-conf /etc/hbase/* 90
    /usr/sbin/update-alternatives --install /etc/hbase/conf hbase-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/hbase/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/hive-hcatalog/conf hive-hcatalog-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/hive-hcatalog/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/hive-webhcat/conf hive-webhcat-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/hive-webhcat/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/hive/conf hive-conf /etc/hive/* 90
    /usr/sbin/update-alternatives --install /etc/hive/conf hive-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/hive/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/hue/conf hue-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/hue/conf.empty 10
    /usr/sbin/update-alternatives --install /etc/impala/conf impala-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/impala/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/llama/conf llama-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/llama/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/mahout/conf mahout-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/mahout/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/oozie/conf oozie-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/oozie/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/pig/conf pig-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/pig/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/sentry/conf sentry-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/sentry/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/solr/conf solr-conf /etc/solr/* 90
    /usr/sbin/update-alternatives --install /etc/solr/conf solr-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/solr/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/spark/conf spark-conf /etc/spark/* 51
    /usr/sbin/update-alternatives --install /etc/spark/conf spark-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/spark/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/sqoop/conf sqoop-conf /etc/sqoop/* 50
    /usr/sbin/update-alternatives --install /etc/sqoop/conf sqoop-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/sqoop/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/sqoop2/conf sqoop2-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/sqoop2/conf.dist 10
    /usr/sbin/update-alternatives --install /etc/zookeeper/conf zookeeper-conf /cldr/app/coolapp/opt/parcels/CDH*/etc/zookeeper/conf.dist 10
    /usr/sbin/update-alternatives --install /usr/bin/accumulo accumulo /cldr/app/coolapp/opt/parcels/ACCUMULO-1.6.0-1.cdh5.1.0.p0.51/bin/accumulo 10
    /usr/sbin/update-alternatives --install /usr/bin/accumulo-tool accumulo-tool /cldr/app/coolapp/opt/parcels/ACCUMULO-1.6.0-1.cdh5.1.0.p0.51/bin/accumulo-tool 10
    /usr/sbin/update-alternatives --install /usr/bin/avro-tools avro-tools /cldr/app/coolapp/opt/parcels/CDH*/bin/avro-tools 10
    /usr/sbin/update-alternatives --install /usr/bin/beeline beeline /cldr/app/coolapp/opt/parcels/CDH*/bin/beeline 10
    /usr/sbin/update-alternatives --install /usr/bin/catalogd catalogd /cldr/app/coolapp/opt/parcels/CDH*/bin/catalogd 10
    /usr/sbin/update-alternatives --install /usr/bin/cli_mt cli_mt /cldr/app/coolapp/opt/parcels/CDH*/bin/cli_mt 10
    /usr/sbin/update-alternatives --install /usr/bin/cli_st cli_st /cldr/app/coolapp/opt/parcels/CDH*/bin/cli_st 10
    /usr/sbin/update-alternatives --install /usr/bin/flume-ng flume-ng /cldr/app/coolapp/opt/parcels/CDH*/bin/flume-ng 10
    /usr/sbin/update-alternatives --install /usr/bin/hadoop hadoop /cldr/app/coolapp/opt/parcels/CDH*/bin/hadoop 10
    /usr/sbin/update-alternatives --install /usr/bin/hadoop-0.20 hadoop-0.20 /cldr/app/coolapp/opt/parcels/CDH*/bin/hadoop-0.20 10
    /usr/sbin/update-alternatives --install /usr/bin/hadoop-fuse-dfs hadoop-fuse-dfs /cldr/app/coolapp/opt/parcels/CDH*/bin/hadoop-fuse-dfs 10
    /usr/sbin/update-alternatives --install /usr/bin/hbase hbase /cldr/app/coolapp/opt/parcels/CDH*/bin/hbase 10
    /usr/sbin/update-alternatives --install /usr/bin/hbase-indexer hbase-indexer /cldr/app/coolapp/opt/parcels/CDH*/bin/hbase-indexer 10
    /usr/sbin/update-alternatives --install /usr/bin/hcat hcat /cldr/app/coolapp/opt/parcels/CDH*/bin/hcat 10
    /usr/sbin/update-alternatives --install /usr/bin/hdfs hdfs /cldr/app/coolapp/opt/parcels/CDH*/bin/hdfs 10
    /usr/sbin/update-alternatives --install /usr/bin/hive hive /cldr/app/coolapp/opt/parcels/CDH*/bin/hive 10
    /usr/sbin/update-alternatives --install /usr/bin/hiveserver2 hiveserver2 /cldr/app/coolapp/opt/parcels/CDH*/bin/hiveserver2 10
    /usr/sbin/update-alternatives --install /usr/bin/impala-shell impala-shell /cldr/app/coolapp/opt/parcels/CDH*/bin/impala-shell 10
    /usr/sbin/update-alternatives --install /usr/bin/impalad impalad /cldr/app/coolapp/opt/parcels/CDH*/bin/impalad 10
    /usr/sbin/update-alternatives --install /usr/bin/kite-dataset kite-dataset /cldr/app/coolapp/opt/parcels/CDH*/bin/kite-dataset 10
    /usr/sbin/update-alternatives --install /usr/bin/llama llama /cldr/app/coolapp/opt/parcels/CDH*/bin/llama 10
    /usr/sbin/update-alternatives --install /usr/bin/llamaadmin llamaadmin /cldr/app/coolapp/opt/parcels/CDH*/bin/llamaadmin 10
    /usr/sbin/update-alternatives --install /usr/bin/load_gen load_gen /cldr/app/coolapp/opt/parcels/CDH*/bin/load_gen 10
    /usr/sbin/update-alternatives --install /usr/bin/mahout mahout /cldr/app/coolapp/opt/parcels/CDH*/bin/mahout 10
    /usr/sbin/update-alternatives --install /usr/bin/mapred mapred /cldr/app/coolapp/opt/parcels/CDH*/bin/mapred 10
    /usr/sbin/update-alternatives --install /usr/bin/oozie oozie /cldr/app/coolapp/opt/parcels/CDH*/bin/oozie 10
    /usr/sbin/update-alternatives --install /usr/bin/pig pig /cldr/app/coolapp/opt/parcels/CDH*/bin/pig 10
    /usr/sbin/update-alternatives --install /usr/bin/pyspark pyspark /cldr/app/coolapp/opt/parcels/CDH*/bin/pyspark 10
    /usr/sbin/update-alternatives --install /usr/bin/sentry sentry /cldr/app/coolapp/opt/parcels/CDH*/bin/sentry 10
    /usr/sbin/update-alternatives --install /usr/bin/solrctl solrctl /cldr/app/coolapp/opt/parcels/CDH*/bin/solrctl 10
    /usr/sbin/update-alternatives --install /usr/bin/spark-executor spark-executor /cldr/app/coolapp/opt/parcels/CDH*/bin/spark-executor 10
    /usr/sbin/update-alternatives --install /usr/bin/spark-shell spark-shell /cldr/app/coolapp/opt/parcels/CDH*/bin/spark-shell 10
    /usr/sbin/update-alternatives --install /usr/bin/spark-submit spark-submit /cldr/app/coolapp/opt/parcels/CDH*/bin/spark-submit 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop sqoop /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-codegen sqoop-codegen /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-codegen 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-create-hive-table sqoop-create-hive-table /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-create-hive-table 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-eval sqoop-eval /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-eval 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-export sqoop-export /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-export 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-help sqoop-help /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-help 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-import sqoop-import /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-import 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-import-all-tables sqoop-import-all-tables /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-import-all-tables 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-job sqoop-job /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-job 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-list-databases sqoop-list-databases /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-list-databases 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-list-tables sqoop-list-tables /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-list-tables 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-merge sqoop-merge /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-merge 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-metastore sqoop-metastore /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-metastore 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop-version sqoop-version /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop-version 10
    /usr/sbin/update-alternatives --install /usr/bin/sqoop2 sqoop2 /cldr/app/coolapp/opt/parcels/CDH*/bin/sqoop2 10
    /usr/sbin/update-alternatives --install /usr/bin/statestored statestored /cldr/app/coolapp/opt/parcels/CDH*/bin/statestored 10
    /usr/sbin/update-alternatives --install /usr/bin/whirr whirr /cldr/app/coolapp/opt/parcels/CDH*/bin/whirr 10
    /usr/sbin/update-alternatives --install /usr/bin/yarn yarn /cldr/app/coolapp/opt/parcels/CDH*/bin/yarn 10
    /usr/sbin/update-alternatives --install /usr/bin/zookeeper-client zookeeper-client /cldr/app/coolapp/opt/parcels/CDH*/bin/zookeeper-client 10
    /usr/sbin/update-alternatives --install /usr/bin/zookeeper-server zookeeper-server /cldr/app/coolapp/opt/parcels/CDH*/bin/zookeeper-server 10
    /usr/sbin/update-alternatives --install /usr/bin/zookeeper-server-cleanup zookeeper-server-cleanup /cldr/app/coolapp/opt/parcels/CDH*/bin/zookeeper-server-cleanup 10
    /usr/sbin/update-alternatives --install /usr/bin/zookeeper-server-initialize zookeeper-server-initialize /cldr/app/coolapp/opt/parcels/CDH*/bin/zookeeper-server-initialize 10
    /usr/sbin/update-alternatives --install /usr/bin/bigtop-detect-javahome bigtop-detect-javahome /cldr/app/coolapp/opt/parcels/CDH*/bin/bigtop-detect-javahome 10
    /usr/sbin/update-alternatives --install /usr/bin/impala-collect-minidumps impala-collect-minidumps /cldr/app/coolapp/opt/parcels/CDH*/bin impala-collect-minidumps 10
    /usr/sbin/update-alternatives --install /usr/bin/parquet-tools parquet-tools /cldr/app/coolapp/opt/parcels/CDH*/bin/parquet-tools 10
    /usr/sbin/update-alternatives --remove accumulo-conf /etc/accumulo/*
    /usr/sbin/update-alternatives --remove hadoop-conf /etc/hadoop/*
    /usr/sbin/update-alternatives --remove hbase-conf /etc/hbase/*
    /usr/sbin/update-alternatives --remove hive-conf /etc/hive/*
    /usr/sbin/update-alternatives --remove solr-conf /etc/solr/*
    /usr/sbin/update-alternatives --remove spark-conf /etc/spark/*
    /usr/sbin/update-alternatives --remove sqoop-conf /etc/sqoop/*
    创建诊断包时由Cloudera Manager Agent运行的命令：
    /bin/bash -c cd ..; find -maxdepth
    /bin/bash -c for x in /etc/security/limits.d/*;
    /bin/bash -c PATH
    /bin/cat /etc/apt/sources.list
    /bin/cat /etc/host.conf
    /bin/cat /etc/hostname
    /bin/cat /etc/hosts
    /bin/cat /etc/issue
    /bin/cat /etc/krb5.conf
    /bin/cat /etc/nsswitch.conf
    /bin/cat /etc/redhat-release
    /bin/cat /etc/resolv.conf
    /bin/cat /etc/security/limits.conf
    /bin/cat /etc/suse-release
    /bin/cat /etc/sysconfig/network
    /bin/cat /etc/sysconfig/network/ifcfg-eth0
    /bin/cat /etc/sysconfig/network-scripts/ifcfg-eth0
    /bin/cat /etc/sysconfig/selinux
    /bin/cat /proc/cpuinfo
    /bin/cat /proc/diskstats
    /bin/cat /proc/interrupts
    /bin/cat /proc/meminfo
    /bin/cat /proc/mounts
    /bin/cat /proc/partitions
    /bin/cat /proc/swaps
    /bin/cat /proc/sys/vm/swappiness
    /bin/cat /proc/vmstat
    /bin/cat /var/kerberos/krb5kdc/kadm5.acl
    /bin/cat /var/kerberos/krb5kdc/kdc.conf
    /bin/cat /var/log/kern.log
    /bin/cat /var/log/messages
    /bin/date
    /bin/df -i
    /bin/df -k
    /bin/dmesg
    /bin/grep -r . /sys/kernel/mm
    /bin/hostname --fqdn
    /bin/ls /etc/yum.repos.d
    /bin/netstat -s
    /bin/ps aux
    /bin/rpm -qa
    /bin/uname -a
    /bin/uname -r
    /sbin/chkconfig --list
    /sbin/ethtool eth0
    /sbin/ethtool -S eth0
    /sbin/ifconfig -a
    /sbin/iptables -L -v -n
    /sbin/lsmod
    /sbin/lspci
    /sbin/lvdisplay
    /sbin/service --status-all
    /sbin/sysctl -A
    /usr/bin/curl -m 1 http://169.254.169.254/2011-01-01/meta-data/instance-type
    /usr/bin/dig any test-1.ent.cloudera.com
    /usr/bin/host -v -t A test-1.ent.cloudera.com
    /usr/bin/lsb_release -a
    /usr/bin/lscpu
    /usr/bin/nslookup -query
    /usr/bin/ntpstat
    /usr/bin/python -c import socket; print socket.getfqdn();
    /usr/bin/sar -A
    /usr/bin/top -b -n 1
    /usr/bin/uptime
    /usr/bin/vmstat
    /usr/sbin/dmidecode
    /usr/sbin/lsof -n -P
    /usr/sbin/ntpq -pn
  • 相关阅读:
    2013年工作中用到的10个命令：11-20
    2013年工作中用到的10个命令：11-20
    2013年工作中用到的10个命令：1-10
    OpenJDK源码研究笔记(十):枚举的高级用法,枚举实现接口,竟是别有洞天
    OpenJDK源码研究笔记(十):枚举的高级用法,枚举实现接口,竟是别有洞天
    Java实现 LeetCode 240 搜索二维矩阵 II（二）
    Java实现 LeetCode 239 滑动窗口最大值
    Java实现 LeetCode 239 滑动窗口最大值
    Java实现 LeetCode 239 滑动窗口最大值
    Java实现 LeetCode 238 除自身以外数组的乘积
  • 原文地址：https://www.cnblogs.com/xiqing/p/9645683.html
Copyright © 2020-2023  润新知