安装mysql
检查是否安装mysql:
rpm -qa |grep mysql
删除已经安装的mysql:
rpm -e mysql-libs-5.1.71-1.el6.x86_64
报错:因为mysql有相关依赖,并不能直接删除
rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
成功:使用--nodeps
也就是说不检查依赖。这样的话,那些使用该软件包的软件在此之后可能就不能正常工作了(注意,nodeps前是双横杠)
如果版本较高,先卸载MariaDB
因为担心Oracle把MySQL变成闭源软件
MySQL的创始人利用MySQL的源代码创建了MariaDB,MariaDB与MySQL兼容
CentOS担心使用MySQL会引来版权问题,所以改为集成MariaDB
yum remove mariadb*
yum是基于rpm的新的包管理工具,提供了更强大的功能和更好的体验!
添加依赖包安装:
yum search libaio
yum install libaio
安装mysql:
添加mysql用户组:
groupadd mysql
useradd -r -g mysql -s /bin/false mysql (-s
/bin/false表示mysql用户不能当作系统登录用户)
进入希望安装mysql的路径下,上传mysql安装包并解压
创建一个快捷方式mysql:
ln -s mysql-5.7.14-linux-glibc2.5-x86_64 mysql
进入mysql目录:
cd mysql
创建一个新文件夹:
mkdir mysql-files
修改可执行属性:
chmod 750 mysql-files
下面的全给改成mysql
chown -R mysql .
chgrp -R mysql .
生成随机密码:
bin/mysqld --initialize --user=mysql
安装ssl安全认证
bin/mysql_ssl_rsa_setup
给改成root
chown -R root .
把mysql-files全改成mysql
chown -R mysql data mysql-files
启动mysql服务:
bin/mysqld_safe --user=mysql &
加入服务
cp support-files/mysql.server /etc/init.d/mysql.server
添加环境变 量:
vi /etc/profile
export MYSQL_HOME=/usr/local/mysql
export PATH=$PATH:$MYSQL_HOME/bin
保存并使其生效
source /etc/profile
登录mysql
mysql -u root
-p
输入随机密码 1yrTGq%8+7Rd
修改初始密码
SET PASSWORD = PASSWORD('sa');
进入mysql开启远程访问
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'sa' WITH GRANT OPTION;
flush privileges;
退出mysql
exit
将mysql加入开机启动服务
chkconfig --add
mysql.server
chkconfig mysql.server on
如果默认密码输入不正确,则需要设置无密码登录
首先,在/etc下创建my.cnf,可以从/usr/local/mysql/support-files下找到my-default.cnf
复制并重命名为my.cnf,并转移到/etc/目录下:
cp my-default.cnf /etc/my.cnf
在my.cnf中加入
skip-grant-tables
重启mysql服务
进入mysql,设置密码:
SET PASSWORD = PASSWORD('sa');
将无密码登录修改回来,重启mysql服务
查看mysql状态
netstat -anp |grep mysql
安装hive
安装在hadoop的namenode上,拷贝安装文件到linux中/usr/tools/下
解压:
tar -zxvf apache-hive-2.1.0-bin.tar.gz
添加到环境变量
vi /etc/profile
编辑
#hive
export HIVE_HOME=/usr/tools/apache-hive-2.1.0-bin
export PATH=$PATH:$HIVE_HOME/bin
保存后使其生效:
source
/etc/profile
配置hive
在hdfs中新建目录/user/hive/warehouse
首先启动hadoop任务
hdfs dfs -mkdir /tmp
hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/hive
hdfs dfs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
将mysql的驱动jar包mysql-connector-java-5.1.39-bin.jar拷入hive的lib目录下面
进入hive的conf目录下面复制一下hive-default.xml.template名子命名为:hive-site.xml
cp hive-default.xml.template hive-site.xml
修改下列属性值(通过/指令寻找,如果第一个定位不正确,n寻找下一个)
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>Username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>sa</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/usr/tools/apache-hive-2.1.0-bin/tmp</value>
<description>Local scratch space for Hive jobs</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/usr/tools/apache-hive-2.1.0-bin/tmp/resources</value>
<description>Temporary local directory for added resources in the remote file system.</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>/usr/tools/apache-hive-2.1.0-bin/tmp</value>
<description>Location of Hive run time structured log file</description>
</property>
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/usr/tools/apache-hive-2.1.0-bin/tmp/operation_logs</value>
<description>Top level directory where operation logs are stored if logging functionality is enabled</description>
</property>
使用schematool
初始化metastore的schema:
schematool -initSchema
-dbType mysql
运行hive
hive