• 安装MySQL与安装Hive


    安装mysql
    检查是否安装mysql
    rpm -qa |grep mysql
    删除已经安装的mysql
    rpm -e mysql-libs-5.1.71-1.el6.x86_64
    报错:因为mysql有相关依赖,并不能直接删除
     
    rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
    成功:使用--nodeps 也就是说不检查依赖。这样的话,那些使用该软件包的软件在此之后可能就不能正常工作了(注意,nodeps前是双横杠)
     
    如果版本较高,先卸载MariaDB
    因为担心OracleMySQL变成闭源软件
    MySQL的创始人利用MySQL的源代码创建了MariaDBMariaDBMySQL兼容
    CentOS担心使用MySQL会引来版权问题,所以改为集成MariaDB
     
    yum remove mariadb*
    yum是基于rpm的新的包管理工具,提供了更强大的功能和更好的体验!
     
     
    添加依赖包安装:
    yum search libaio
    yum install libaio
     
    安装mysql:
    添加mysql用户组:
    groupadd mysql
    useradd -r -g mysql -s /bin/false mysql  (-s /bin/false表示mysql用户不能当作系统登录用户)
     
    进入希望安装mysql的路径下,上传mysql安装包并解压
    创建一个快捷方式mysql
    ln -s mysql-5.7.14-linux-glibc2.5-x86_64 mysql
    进入mysql目录:
    cd mysql
    创建一个新文件夹:
    mkdir mysql-files
    修改可执行属性:
    chmod 750 mysql-files
    下面的全给改成mysql
    chown -R mysql .
    chgrp -R mysql .
    生成随机密码:
    bin/mysqld --initialize --user=mysql
    安装ssl安全认证
    bin/mysql_ssl_rsa_setup
    给改成root
    chown -R root .
    mysql-files全改成mysql
    chown -R mysql data mysql-files
    启动mysql服务:
    bin/mysqld_safe --user=mysql &
    加入服务
    cp support-files/mysql.server /etc/init.d/mysql.server
    添加环境变 量:
    vi /etc/profile
    export MYSQL_HOME=/usr/local/mysql
    export PATH=$PATH:$MYSQL_HOME/bin
    保存并使其生效
    source  /etc/profile
    登录mysql
    mysql -u root -p
    输入随机密码   1yrTGq%8+7Rd
     
    修改初始密码
    SET PASSWORD = PASSWORD('sa');
     
    进入mysql开启远程访问
    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'sa' WITH GRANT OPTION;
    flush privileges;
     
    退出mysql
    exit
    mysql加入开机启动服务
    chkconfig --add mysql.server
    chkconfig mysql.server on
     
    如果默认密码输入不正确,则需要设置无密码登录
    首先,在/etc下创建my.cnf,可以从/usr/local/mysql/support-files下找到my-default.cnf
    复制并重命名为my.cnf,并转移到/etc/目录下:
    cp my-default.cnf /etc/my.cnf
    my.cnf中加入
    skip-grant-tables 
    重启mysql服务
    进入mysql,设置密码:
    SET PASSWORD = PASSWORD('sa');
    将无密码登录修改回来,重启mysql服务
     
    查看mysql状态
    netstat -anp |grep mysql
     
    安装hive
    安装在hadoopnamenode上,拷贝安装文件到linux/usr/tools/
    解压:
    tar -zxvf apache-hive-2.1.0-bin.tar.gz
    添加到环境变量
    vi /etc/profile
    编辑
    #hive
    export HIVE_HOME=/usr/tools/apache-hive-2.1.0-bin
    export PATH=$PATH:$HIVE_HOME/bin
    保存后使其生效:
    source /etc/profile
    配置hive
    hdfs中新建目录/user/hive/warehouse
    首先启动hadoop任务
    hdfs dfs -mkdir /tmp
    hdfs dfs -mkdir /user
    hdfs dfs -mkdir /user/hive
    hdfs dfs -mkdir /user/hive/warehouse
     
    hadoop fs -chmod g+w /tmp
    hadoop fs -chmod g+w /user/hive/warehouse
    mysql的驱动jarmysql-connector-java-5.1.39-bin.jar拷入hivelib目录下面
    进入hiveconf目录下面复制一下hive-default.xml.template名子命名为:hive-site.xml
    cp hive-default.xml.template hive-site.xml
    修改下列属性值(通过/指令寻找,如果第一个定位不正确,n寻找下一个)
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
        <description>JDBC connect string for a JDBC metastore</description>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>Username to use against metastore database</description>
      </property>
      <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>sa</value>
        <description>password to use against metastore database</description>
      </property>
      
      <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/usr/tools/apache-hive-2.1.0-bin/tmp</value>
        <description>Local scratch space for Hive jobs</description>
      </property>
      <property>
        <name>hive.downloaded.resources.dir</name>
        <value>/usr/tools/apache-hive-2.1.0-bin/tmp/resources</value>
        <description>Temporary local directory for added resources in the remote file system.</description>
      </property>
      <property>
        <name>hive.querylog.location</name>
        <value>/usr/tools/apache-hive-2.1.0-bin/tmp</value>
        <description>Location of Hive run time structured log file</description>
      </property>
      <property>
        <name>hive.server2.logging.operation.log.location</name>
        <value>/usr/tools/apache-hive-2.1.0-bin/tmp/operation_logs</value>
        <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
      </property>
    使用schematool 初始化metastoreschema
    schematool -initSchema -dbType mysql
     
    运行hive
    hive
     
     
  • 相关阅读:
    php常见的数据类型
    PHP基础语法
    php表单处理
    php操作mongodb基础语法
    php连接MongoDB数据库,对数据库的增删改查
    Linux常见命令
    python操作redis——基本安装和启动
    MySQL简单的存储图片信息
    基本的位运算
    OS七层模型解析
  • 原文地址:https://www.cnblogs.com/yangxiansen/p/7859988.html
Copyright © 2020-2023  润新知