Linux相关环境安装与配置

最近买了一个腾讯云的服务器，简单安装了下环境并记录一下

Java:

1、查找java相关的列表

yum -y list java*

2、安装JDK(这里是1.8.0版本)

yum install java-1.8.0-openjdk.x86_64

3、完成安装后验证

java -version

4、将JDK的安装路径加入到JAVA_HOME

vim /etc/profile

在文件中添加路径
#set java environment
JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME CLASSPATH PATH

source /etc/profile

5、安装成功

Maven:

1、下载并解压Maven3.3.9

$ curl -O http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
$ tar -xvf  apache-maven-3.3.9-bin.tar.gz
$ sudo mv -f apache-maven-3.3.9 /usr/local/

2、修改环境变量

vim ~/.bash_profile

#在文件中添加
export MAVEN_HOME=/usr/local/apache-maven-3.3.9
export PATH=${PATH}:${MAVEN_HOME}/bin

source ~/.bash_profile

3、查看是否成功：

mvn -v

Scala:

 1、确保你本地已经安装了 JDK 1.5 以上版本，并且设置了 JAVA_HOME 环境变量及 JDK 的 bin 目录

java -version

javac -version

2、从 Scala 官网地址 http://www.scala-lang.org/downloads选择版本下载并解压缩文件包，可将其移动至/usr/local/share下：

mv scala-2.11.7 scala 
mv /scalapath  /usr/local/share 

此时进入scala目录下的bin文件夹输入scala已经可以使用了

3、将scala命令添加到全局

vim /etc/profile

在文件中加入
export PATH="$PATH:/usr/local/share/scala/bin"

source /etc/profile

Python:

 系统会自带Python2.7版本，此处我们利用Annaconda安装Python3.6版本

1、Annaconda下载，下载连接https://www.anaconda.com/download/，可以根据需求选择Python的版本。也可以按照如下方式下载：

wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh

2、下载完成并运行该文件，如果无法运行可以先查看一下权限

bash Anaconda3-5.2.0-Linux-x86_64.sh

若出现如下错误则由于环境缺失导致

解决方法

yum install -y bzip2

3、在安装过程中，不断按回车或者Y(yes)即可

4、安装完成后对python的环境变量进行添加，方便启动

vim /etc/profile

#在文件中添加
#Anaconda
export PATH=$PATH:/home/software/anaconda3/bin

source /etc/profile

5、打开终端，输入python3，如果显示如下图，则表示安装成功

MySQL:

 1、安装前，我们可以检测系统是否自带安装 MySQL:

rpm -qa | grep mysql

如果你系统有安装，那可以选择进行卸载:

rpm -e mysql　　// 普通删除
rpm -e --nodeps mysql　　// 强力删除

2、安装 MySQL：

在 Centos系统下使用 yum 命令安装 MySQL，若没有yum需要进行下载

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm  
rpm -ivh mysql-community-release-el7-5.noarch.rpm 
yum update
yum install mysql-server

权限设置并初始化MySQL:

chown mysql:mysql -R /var/lib/mysql

mysqld --initialize

启动 MySQL并查看状态：

systemctl start mysqld

systemctl status mysqld

3、验证安装是否成功

mysqladmin --version

4、创建并设置root用户账号以及密码：

mysqladmin -u root password "your password"

然后通过如下方法登录并连接MySQL:

mysql -u root -p

Enter password:*******

Hadoop:

安装Hadoop需要预先安装Java环境，并且需要jdk为jdk7版本以上。

1、官网上下载hadoop，下载地址：https://www.apache.org/dist/hadoop/common/

2、解压并安装文件

tar -zxvf /var/ftp/pub/hadoop-2.9.2.tar.gz

3、编辑解压后的/etc/hadoop/hadoop-env.sh文件，在文件中修改JAVA_HOME配置

vi etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_221/

4、配置伪分布式

vim etc/hadoop/core-site.xml

#在文件中添加
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

vim etc/hadoop/hdfs-site.xml

#在文件中添加
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

5、设置主机允许无密码SSH链接

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa       // 创建公钥私钥对
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys // 设置权限，owner有读写权限，group和others无权限

6、格式化文件系统

bin/hdfs namenode -format

7、启动Hadoop

./sbin/start-all.sh // 启动NameNode和DataNode进程

PS：可以通过jps指令查看启动的进程

后续会继续安装HIve、Spark等工具，未完待续 ~