• SQuirrel连接hive配置


    1.     简介

      最近由于大数据部门相关同事离职,不得不研究一下大数据相关组件,今天成功安装配置Hive,简单记录,一是为了加深印象,二是为以后备用,三是为大家提供参考,避免少踩坑。

      在Hive的官网上介绍三种可视化工具用于Windows系统中,可以通过JDBC连接Hive,包括:SQuirrel SQL Client、Oracle SQL Developer以及DbVisualizer。由于个人精力有限目前只研究了一个工具,SQuirrel Sql client 可视化数据库工具基本可满足要求。

      Squirrel SQL Client是一个用Java写的数据库客户端,用JDBC统一数据库访问接口以后,可以通过一个统一的用户界面来操作MySQL、MSSQL、Hive、Phoenix等支持JDBC访问的数据库,可以在windows中直接连接Hive。

    2.     下载地址及使用版本

      参考资料:官网地址 http://www.squirrelsql.org/, 可直接从官网下载。

      本教程使用Hive版本信息如下:

      使用命令:hive –version

      版本信息:Hive 2.3.3

      下载及安装过程不再赘述,直接进入配置环节。

    3.     Hive配置与启动过程

      在使用SQuirrel SQL Client链接Hive之前,首先确保Hive的远程metastore服务及HiveServer2服务已经启动,并且有访问权限。

    3.1 配置远程metastore服务

      1)首先配置hive集成mysql存储metastore(本地或远程mysql存储,相信大家已经配置完成,如果没有可参考文章***);

      2)配置hive客户端,修改hive-site.xml:(服务器B-需要有hadoop环境)

      使用远程metastore,配置如下:

    <property>
      <name>hive.metastore.uris</name>
      <value>thrift://metastore_server_ip:9083</value>        <!-- 此处是服务器ip -->
      <description></description>
    </property>

      Hadoop的core-site.xml文件中配置hadoop代理用户,配置如下:

    复制代码

    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

    复制代码

      解释:root用户提交的任务可以在任意机器上以任意组的所有用户的身份执行。 若不设置,后续连接时会报如下错误:

    org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException):User: root is not allowed to impersonate anonymous

    设置完成后,需要重启Hadoop。(./stop-all.sh   ./start-all.sh)

        3)配置完成后,启动服务:$HIVE_HOME/bin/hive --service metastore  & (默认监听端口:9083)

    3.2 启动hiveservice2服务

      $HIVE_HOME/bin/hive --service hiveserver2 &

      经过以上两个步骤,可查看已启动的服务:

     

    4.     SQuirrel配置

    4.1 运行SQuirrel SQL Client

    运行SQuirrel SQL Client程序,增加hive driver,如下图所示:

     

    4.2 配置驱动程序

    如上图,单击加号,输入相应参数,如下图所示:

     

      其中,图片序列号解释:

        3 Example URL:jdbc:hive2://server_ip:10000/bbbTest。意思是:通过jdbc连接HiveServer2,端口号是10000,数据库名称为bbbTest。

        4与5通过【增加】指定附加类路径。5表示依赖的Jar包,这些Jar包可以在Hadoop和Hive的安装目录中的lib文件夹中找到,包括:      

    复制代码

          commons-configuration-1.6.jar
          hadoop-common-2.8.4.jar
          hive-common-2.3.3.jar
          hive-contrib-2.3.3.jar
          hive-jdbc-2.3.3.jar
          hive-metastore-2.3.3.jar
          hive-serde-2.3.3.jar
          hive-service-2.3.3.jar
          hive-service-rpc-2.3.3.jar
          httpclient-4.4.jar
          httpcore-4.4.jar
          libthrift-0.9.3.jar

    复制代码

      6 类名(Class Name):org.apache.hive.jdbc.HiveDriver              【会自动加载,如果多个可选择】

      正确无误配置完成后,在已经注册的Driver列表中,会显示如下截图,对号表示注册成功,如果注册失败会有相应的红色叉号。如下图所示:

     

    4.2 连接Hive Server服务

    驱动安装成功后,切换到【别名】页,单击加号如下顺序,配置相关参数,测试成功。

     

    4.3 打开已创建的数据库

     

    4.4 新创建数据库

      打开 Sql 查询窗口,创建一个表,Sql如下:    

    CREATE TABLE server_log(logtime INT, userid BIGINT, username STRING, address STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '	';

      执行:show tables;  如下图所示:

     

      或查看对象,如下图所示:

     

  • 相关阅读:
    shell笔记
    全引用与部分引用
    R语言 EFA(探索性因子分析)
    Markdown 基本使用
    Oracle截取字符串和查找字符串
    ggplot画基本图形类型
    ggplot画图笔记
    用R语言 画条形图(基于ggplot2包)
    Git基本操作
    R语言为数据框添加列名或行名
  • 原文地址:https://www.cnblogs.com/hzcya1995/p/13313611.html
Copyright © 2020-2023  润新知