• Centos7.X安装impala(RPM方式)


    Centos7.5安装Impala

    一、安装包准备
    1.1、Impala下载地址

    http://archive.cloudera.com/beta/impala-kudu/redhat/7/x86_64/impala-kudu/0/RPMS/x86_64/

    1.2、impala依赖下载地址

    http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.9.0/RPMS/noarch/

    1.3、Impala其他依赖

    cyrus-sasl-plain lsb

    由于lsb依赖过多,需要在内网配置一个本地yum源;且大数据平台需要配置一个统一ntp时间同步服务器;

    1.4、将下载好的rpm包上传服务器

    二、实施安装
    (hadoop,hive集群已安装好,且正常启动状态)

    2.1、安装其他依赖

    cyrus-sasl-plain lsb ntp服务,如果ntp服务单独在整个大数据平台安装,此处就不需要安装

    yum install -y cyrus-sasl-plain lsb (主从节点)

    2.2、安装rpm包

    主节点:

    sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm

    sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps

    sudo rpm -ivh impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

    sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

    sudo rpm -ivh impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

    sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

    sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

    从节点:

    sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm

    sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps

    sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

    sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

    sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

    三、配置impala
    3.1、配置bigtop-utils

    vim /etc/default/bigtop-utils(主从节点)

    3.2、配置impala

    /etc/default/impala(主从节点)

    IMPALA_CATALOG_SERVICE_HOST=infobeat-web   #infobeat-web为impala主节点域名

    IMPALA_STATE_STORE_HOST=infobeat-web   #infobeat-web为impala主节点域名

    3.3、整合hdfs和hive

    配置impala的conf文件(主从节点)

    把hadoop配置文件core-site.xml和hdfs-site.xml,以及hive配置文件hive-site.xml拷贝到/etc/impala/conf.dist/目录下

    同时编辑core-site.xml、hdfs-site.xml配置文件,在原有基础上追加如下修改:

    #hdfs-site.xml

    <!--impala configuration -->

    <property>

    <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

    <value>true</value>

    </property>

    <property>

    <name>dfs.block.local-path-access.user</name>

    <value>impala</value>

    </property>

    <property>

    <name>dfs.client.file-block-storage-locations.timeout.millis</name>

    <value>60000</value>

    </property>

    <property>

    <name>dfs.domain.socket.path</name>

    <value>/var/run/hadoop-hdfs/dn._PORT</value>      #hadoop-hdfs手动创

    </property>

    # core-site.xml

    <!--impala configuration -->

    <property>

    <name>dfs.client.read.shortcircuit</name>

    <value>true</value>

    </property>

    <property>

    <name>dfs.client.read.shortcircuit.skip.checksum</name>

    <value>false</value>

    </property>

    <property>

    <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

    <value>true</value>

    </property>

    3.4、重启hadoop集群

    stop-all.sh

    3.5、设置scoket path

    在目录/var/run/目录下新建目录hadoop-hdfs(主从节点)

    注意:该文件夹可能已经存在,应当确认用impala是否有权限进行读写。如果已经存在,将用户impala加入该文件所属的组,并修改该文件组的权限即: chown -R 775 hadoop-hdfs/

    [root@hadoop]# cd /var/run/ #进入目录/var/run/

    [root@hadoop]#mkdir hadoop-hdfs #创建目录hadoop-hdfs文件夹

    [root@hadoop]# chown -R 775 hadoop-hdfs/ #设置权限

    3.6、权限配置

    如果想要impala和yarn合作,需要把impala用户加入hdfs组(主从节点);

    impala在执行drop table操作时,需要把文件移到到hdfs的回收站,所以需要创建一个hdfs的目录/user/impala,并将其设置为impala用户可写。

    同样,impala需要读取hive数据仓库下的数据,故需要把impala用户加入hive组。

    [root@hadoop]#usermod -G hdfs,hadoop impala

    [root@hadoop]# groups impala

    impala:impala hdfs hadoop

    另:创建impala在hdfs上的目录并设置权限

    [root@hadoop]$ hadoop fs -mkdir -p /user/impala

    [root@hadoop]$ hadoop fs -chown impala /user/impala

    3.7、添加mysql驱动

    在/var/lib/impala/目录下面添加mysql驱动jar

    四、启动impala
    4.1、启动主节点

    [root@hadoop]# service impala-state-store restart

    [root@hadoop]# service impala-catalog restart

    [root@hadoop]# service impala-server restart

    4.2、启动从节点

    [root@hadoop]# service impala-server restart

    4.3、服务验证

    注意:
    1、因为impala安装需要root权限,所以可以给hadoop用户添加sudo权限

    gpasswd -a hadoop wheel #root执行


    ————————————————
    版权声明:本文为CSDN博主「火树银花之处」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/zcf1319/article/details/106085599/

  • 相关阅读:
    node 父子进程传递对象
    js 按照字母进行分组
    native react 代码智能提示
    VScode 使用emmet
    c# webapi swagger
    c# 前台和后台线程
    Java——字节和字符的区别
    Java——类的访问修饰符
    Java——面向对象
    Java——内存中的数组
  • 原文地址:https://www.cnblogs.com/javalinux/p/14902289.html
Copyright © 2020-2023  润新知