• 大数据学习——hive安装部署


    1上传压缩包

    2 解压

     tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps 

    3 重命名

    mv apache-hive-1.2.1-bin hive

    4 设置环境变量

    vi /etc/profile

    expert HIVE_HOME=/root/apps/hive
    export PATH=$PATH:$HIVE_HOME/bin

    5 启动hive

    cd apps/hive

    bin/hive

     出现上面的问题是因为版本不兼容

    解决一下版本不兼容问题:替换 apps/hadoop/share/hadoop/yarn/lib中的老版本jline 为hive的lib中的jline-2.12.jar

    命令

    cd apps/hadoop/share/hadoop/yarn/lib

    rm -rf jline-0.9.94.jar

    cp /root/apps/hive/lib/jline-2.12.jar /root/apps/hadoop/share/hadoop/yarn/lib

     

    启动hive

    6 测试

     数据默认存储在derby数据库中

    缺点:多个地方安装hive后,每一个hive是拥有一套自己的元数据,大家的库、表就不统一;

    元数据库mysql版:

    1、解压

    2、修改配置文件

    3、加载mysql数据驱动包

    mysql安装可参考:https://www.cnblogs.com/feifeicui/p/10088529.html

    7 修改配置文件,使用mysql数据库存储数据

    新建一个文件

    vi hive-site.xml

    添加内容

    <configuration>
    <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
    </property>
    
    <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
    </property>
    
    <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>username to use against metastore database</description>
    </property>
    
    <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
    </property>
    </configuration>

    修改文件名字

    mv hive-env.sh.template hive-env.sh

    设置hadoop环境变量

    vi hive-env.sh

     启动hive

    报错

    原因是少了数据库驱动

    上传驱动jar

     启动hive

     测试

  • 相关阅读:
    HashMap的put方法
    死锁相关
    AVL树
    xss漏洞
    hash
    古典密码学教学
    python | 实现控制多台机器的脚本
    python | 端口扫描器(多线程)
    每日一洞 | 细说渗透江湖之出荆棘入深林
    每日一洞 | 细说渗透江湖之柳暗花明又一村
  • 原文地址:https://www.cnblogs.com/feifeicui/p/10273382.html
Copyright © 2020-2023  润新知