• hive集群模式安装


    hadoop3.2.0 完全分布式安装 hive-3.1.1

    #解压缩
    tar -zxvf /usr/local/soft/apache-hive-3.1.1-bin.tar.gz -C /usr/local/
    #修改目录名称
    mv /usr/local/apache-hive-3.1.1-bin/ /usr/local/apache-hive-3.1.1
    vim /etc/profile

    #增加HIVE环境变量内容

    export HIVE_HOME=/usr/local/apache-hive-3.1.1
    export PATH=$PATH:$HIVE_HOME/bin
    export CLASSPATH=$CLASSPATH:$HIVE_HOME/bin


    使环境变量生效:source /etc/profile

    vim /usr/local/apache-hive-3.1.1/conf/hive-env.sh
    #增加内容

    export HADOOP_HOME=/usr/local/hadoop-3.1.1
    export HIVE_CONF_DIR=/usr/local/apache-hive-3.1.1/conf

    vim /usr/local/apache-hive-3.1.1/conf/hive-site.xml

    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <property>
    <name>hive.exec.scratchdir</name> #设置HDFS路径
    <value>/usr/local/hive/iotmp/hive</value>
    </property>
    <property>
    <name>hive.downloaded.resources.dir</name> #远程文件系统中添加资源的临时本地目录
    <value>/usr/local/hive/iotmp<value>
    </property>
    <property>
    <name>hive.exec.local.scratchdir</name> #作业的本地暂存空间
    <value>/usr/local/hive/iotmp</value>
    </property>
    <property>
    <name>hive.querylog.location</name> #运行时结构的日志文件位置
    <value>/usr/local/hive/iotmp</value>
    </property>
    <property>
    <name>hive.metastore.warehouse.dir</name> #设置hive数据库和表在HDFS中存放的文件夹的位置
    <value>/user/hive/warehouse</value>
    </property>
    <property>
    <name>hive.server2.thrift.port</name> #设置HiveServer2远程连接的端口
    <value>10000</value>
    </property>
    <property>
    <name>hive.server2.thrift.bind.host</name> #hiveserver2所在集群的IP地址
    <value>lcoalhost</value>
    </property>
    <property>
    <name>hive.server2.long.polling.timeout</name> #设置超时时间
    <value>5000</value>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionURL</name> #设置Hive的元数据库
    <value>jdbc:mysql://localhost:3306/hive_metadata?
    createDatabaseIfNotExist=true&amp;useSSL=false</value>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionDriverName</name> #描述一个JDBC驱动程序类的名称
    <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionUserName</name> #连接元数据库用户名
    <value>root</value> #根据mysql用户名进行修改
    </property>
    <property>
    <name>javax.jdo.option.ConnectionPassword</name> #连接元数据库密码
    <value>123456</value> #根据mysql密码进行修改
    </property>

    #将下载好的 mysql 驱动拷贝到hive的lib目录中

    cp /usr/local/soft/mysql-connector-java-8.0.12.jar /usr/local/apache-hive-3.1.1/lib/

    #在 mysql 服务器中新建空数据库 hadoop_hive_meta,跟 hive-site.xml 中配置的数据库名称一致
    #首次启动初始化schema

    schematool -dbType mysql -initSchema
  • 相关阅读:
    redhat安装opencv
    vsftpd的配置与使用
    Redhat 安装编译 Python-2.7.12
    YUM 安装与配置
    docker安装mysql
    高频问题 java8新特性(转载)
    quartz简单实例实现
    java8线程池
    java8多线程不带返回值
    java8多线程带返回值的
  • 原文地址:https://www.cnblogs.com/jake-jin/p/11435126.html
Copyright © 2020-2023  润新知