• Hive安装与部署集成mysql


    前提条件:

    1、一台配置好hadoop环境的虚拟机。hadoop环境搭建教程:稍后补充

    2、存在hadoop账户。不存在的可以新建hadoop账户安装配置hadoop。

    安装教程:


    一、Mysql安装

    1、安装mysql命令:Yum install mysql-server -y  (-y参数作用为所有需要输入yes的地方默认yes)

    2、打开mysql服务:Service mysqld start

    3、设置mysql服务开机自启动(也可以不设置,开机手动启动):chkconfig –add mysqld

    4、进入mysql命令行:mysql -u root -p   (root是账户不是必须root) 第一次进入不需要输密码可以直接:mysql命令进入mysql

    5、设置密码-第一次没有密码情况下设置:mysqladmin -u root password qixiao123

         ->如果不在第5步设置,也可以在Mysql命令行下修改密码(先进入mysql):update user set password=password(‘新密码’) where user=‘root’ FLUSH PRIVILEGES

      执行到这里可以输入几个mysql命令来进行测试一下:

      显示数据库: show databases;

      使用数据库: use mysql;

      显示表: show tables;


    二、Hive的安装与部署

    1、首先下载Hive安装包:hive-0.12.tar.gz 将安装包上传到虚拟机的将要安装的目录

    2、使用命令解压安装包:tar –zxvf hive-0.12.tar.gz

    3、修改home目录下文件.bash_profile(可以:ll -a命令查看):vi .bash_profile

    4、加入Hive环境变量

      

    这里的HIVE_HOME 目录要根据自己的安装路径写,这里hive安装在/home/hadoop/hadoop/hive-0.12.0目录下

    修改完成保存->ESC->:wq回车

    输入命令:source .bash_profile 更新文件

    !上述步骤出错的可以在.bashrc文件中配置,然后执行source .bashrc命令更新,更改.bashrc和更改.bash_profile文件效果是相同的。

    5、切换目录到$HIVE_HOME/conf/下;

    6、修改default.xml.template和hive-env.sh.template文件的文件名为hive-site.xml和hive-env.sh。命令如下(可以使用cp或者mv命令):

      cp hive- default.xml.template  hive-site.xml 命令 和 cp hive-env.sh.template  hive-env.sh 命令;

    7、修改hive-env.sh在 写成自己的hadoop目录

      

      这里修改成自己的hadoop安装目录;

    8、修改上述的hive-site.xml文件内容:vi hive-site.xml

      在大约2000行左右 Vi命令:to 2000 (跳转到2000行)

      修改</auth> 改为 </value> 匹配value标签

      

    9、Hive启动方法:在命令行模式下直接输入: hive 回车

    如果出现:

      

    则说明hive环境变量和配置没有问题。到此,Hive的基本安装及部署已经完成;

    hive日志位置:/usr/local/share/applications/hive/hive-0.12.0/logs/hive.log


    三、Hive集成Mysql作为元数据 

    在Hive的使用中会使用Mysql,需要将mysql包上传到hive/lib目录中,mysql包可以在hive官网下载

    将下载好的mysql jar包上传到hive/lib目录,使用SSH或者任意远程连接工具上传jar包

      

    执行查看lib目录可以查看到上传好的jar包:[hadoop@hadoop01 lib]$ ll -a

    1、修改/hive-0.12.0/conf 下的 hive-env.sh 文件

    # Set HADOOP_HOME to point to a specific hadoop install directory
    HADOOP_HOME=/home/hadoop/app/hadoop-2.6.2

    # Hive Configuration Directory can be controlled by:
    export HIVE_CONF_DIR=/home/hadoop/app/hive-0.12.0/conf

       这里按照自己的安装目录进行修改。

    2、/hive-0.12.0/conf 下的 hive-site.xml 文件的修改

      

      将里面的内容修改为:

      

     1 <?xml version="1.0"?>
     2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
     3 <configuration>
     4     <property>
     5       <name>javax.jdo.option.ConnectionURL</name>
     6         <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
     7       <description>JDBC connect string for a JDBC metastore</description>
     8     </property>
     9     <property>
    10       <name>javax.jdo.option.ConnectionUserName</name>
    11       <value>hive</value>
    12       <description>username to use against metastore database</description>
    13     </property>
    14     <property>
    15       <name>javax.jdo.option.ConnectionPassword</name>
    16       <value>hive</value>
    17       <description>password to use against metastore database</description>
    18     </property>
    19 </configuration>

      

    从前面我们知道我们的“hive-site.xml”是一个“hive-default.xml.template”的一个拷贝,里面的配置参数非常之多,但是并不是我们都需要的,我们知道,Hive系统会加载两个配置文件一个默认配置文件“hive-default.xml”,另一个就是用户自定义文件“hive-site.xml”。当“hive-site.xml”中的配置参数的值与“hive-default.xml”文件中不一致时,以用户自定义的为准。所以我们就把我们不需要的参数都删除掉,只留下上面所示的内容。
    备注:其实修改这里的配置文件如果在Linux下面进行则非常麻烦,尽然我们都建立了FTP了,为何不用,所以把上面的这个配置文件下载下来,按照要求进行修改,这样的文件在Windows进行操作是非常方便的,弄好之后再上传上去,覆盖原来的即可。

    3、到这里我们的配置告一段落,进入hive环境:命令行下输入:hive

      hive>show databases;

      

      hive>show tables;

      

      这里可以在hive中进行数据库表的增删改查操作;

     The End !

    本文为七小站主原创作品,转载请注明出处:http://www.cnblogs.com/7tiny/ 且在文章页面明显位置给出原文链接。

    作者信息(详情):

    QiXiao_柒小(東)
    Software Development
    北京市海淀区 Haidian Area Beijing 100089,P.R.China
    郵箱Email : seventiny@foxmail.com  
    網址Http: http://www.7tiny.com
    QQ:1124999434 , WeChat: wd8622088 (尽量加微信)
    (专好结交天下英雄好汉,可聊天,可谈技,可约饭,可..嗯,原则是要有的~) 更多联系方式点我哦~


    Best Regard ~
  • 相关阅读:
    python可变的参数列表
    python函数中的关键字参数
    python中的else子句
    python3中的range函数
    python列表和分片
    jmeter 参数化四种方式
    redis集群和单点可以共存
    localhost与127.0.0.1的区别是什么
    Pytest单元测试框架-Pytest环境安装
    Nginx、HAProxy、LVS三者的优缺点
  • 原文地址:https://www.cnblogs.com/7tiny/p/5790106.html
Copyright © 2020-2023  润新知