• 大数据小项目之电视收视率企业项目09--hive环境搭建


    Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。

    术语“大数据”是大型数据集,其中包括体积庞大,高速,以及各种由与日俱增的数据的集合。使用传统的数据管理系统,它是难以加工大型数据。因此,Apache软件基金会推出了一款名为Hadoop的解决大数据管理和处理难题的框架。

    安装mysql

    http://www.centoscn.com/mysql/2016/0315/6844.html

    1)安装依赖

    yum search libaio  # 检索相关信息

    yum install libaio # 安装依赖包

    2)检查 MySQL 是否已安装

    yum list installed | grep mysql

    如果有,就先全部卸载,命令如下:

    yum -y remove mysql-libs.x86_64

    3)下载 MySQL Yum Repository(yum仓库)

    地址为 http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

    执行下载

    wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

    如果提示-bash: wget: 未找到命令,请先执行 yum install wget 安装 wget

    安装

    4)如果没有wget下载对应的安装包

     wget --->yum -y install wget

    5)添加 MySQL Yum Repository

    添加 MySQL Yum Repository 到你的系统 repository 列表中,执行

    yum localinstall mysql-community-release-el7-5.noarch.rpm

    6)验证下是否添加成功

    yum repolist enabled | grep "mysql.*-community.*"

    7)开始yum安装mysql

    yum install mysql-community-server

    8)开启

    systemctl start  mysqld

    systemctl status  mysqld 查看状态

    9)验证 mysql

    10)创建hive需要的数据库

    在mysql上创建hive元数据库,并对hive进行授权

    create database if not exists hive_metadata;

    安装hive

    1.上传安装包

        apache-hive-2.1.0-bin

        不同的版本有可能会安装失败,建议使用低版本,并且是稳定版的软件

    2.解压

    tar -xzvf apache-hive-2.1.0-bin.tar.gz -C /soft/

    3.重命名或者创建软连接

    ln -s apache-hive-2.1.0-bin hive

    4.修改环境变量

    sudo nano /etc/profile

    export HIVE_HOME=/soft/hive

    export PATH=$PATH:$HIVE_HOME/bin

    5.环境变量起效果

    source /etc/profile

    修改配置文件

    拷贝驱动mysql-connector-java-5.1.28.jar到 /soft/hive/lib

    配置hive-site.xml

    mv hive-default.xml.template hive-site.xml

    vi hive-site.xml

    <property>

      <name>javax.jdo.option.ConnectionURL</name>

      <value>jdbc:mysql://192.168.17.200:3306/hive_metadata?createDatabaseIfNotExist=true</value>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionDriverName</name>

      <value>com.mysql.jdbc.Driver</value>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionUserName</name>

      <value>hive</value>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionPassword</name>

      <value>123456</value>

    </property>

    <property>

      <name>hive.metastore.warehouse.dir</name>

      <value>/user/hive/warehouse</value>

    </property>

    配置hive-env.sh和hive-config.sh

    mv hive-env.sh.template hive-env.sh

    vi /soft/hive/bin/hive-config.sh

    export JAVA_HOME=/soft/jdk

    export HIVE_HOME=/soft/hive

    export HADOOP_HOME=/soft/hadoop

    在hive-site.xml

    ${system:java.io.tmpdir}=/home/wang/hive/wang

    ${system:user.name}=wang

    "system:java.io.tmpdir =/home/centos/hive/resource

    创建数据库表到mysql里面

    schematool -initSchema -dbType mysql

    验证hive是否安装成功

     

    直接输入hive命令,可以进入hive命令行

    create table t1(id int)

    select * from t1;

    drop table t1;

  • 相关阅读:
    201871010107-公海瑜《面向对象程序设计(java)》课程学习总结
    201871010107-公海瑜《面向对象程序设计(java)》第十七周学习总结
    201871010107-公海瑜《面向对象程序设计(java)》第十七周学习总结
    201871010107-公海瑜《面向对象程序设计(java)》第十六周学习总结
    201871010107-公海瑜《面向对象程序设计(java)》第十五周学习总结
    201871010107-公海瑜《面向对象程序设计(java)》第十四周学习总结
    《2019面向对象程序设计(java)课程学习进度条》
    201871010108-高文利 实验二 个人项目— {0-1}背包问题 项目报告
    201871010108-高文利《面向对象程序设计(java)》课程学习总结
    201871010108-高文利《面向对象程序设计(java)》第十七周学习总结
  • 原文地址:https://www.cnblogs.com/wakerwang/p/9479344.html
Copyright © 2020-2023  润新知