Centos7中hadoop配置

Centos7中hadoop配置

1.下载centos7安装教程：

http://jingyan.baidu.com/article/a3aad71aa180e7b1fa009676.html

（注意，到如下图这一步的时候，要注意，选择图形界面安装，并且勾选如图2两个选项，才会有自带的浏览器。）

 

2.修改主机名

2.1CentOS7以下的版本修改主机名的方法

CentOS7以下的系统（包括CentOS6~CentOS6.5），我们通过修改HOSTNAME的方式即可得到想要的效果。如下所示，localhost是当前主机名，将其修改成了cjh141304092

[root@localhost ~]# vim /etc/sysconfig/network

  1 # Created by anaconda

  2 NETWORKING_IPV6=no

  3 PEERNTP=no

  4 GATEWAY=115.29.207.247

  5 HOSTNAME=typecodes

[root@localhost ~]# hostname cjh141304092 

[root@cjh141304092 ~]#

2 .2CentOS7以及CentOS7.1版本修改主机名的方法

目前CentOS的最高版本是CentOS7.1，有较多CentOS6系列能使用的命令都不能使用或者做了有些改动。例如，在CentOS7或者CentOS7.1系统中，直接使用上面的方法修改主机名，最后都是没有效果的。它已经被简化为下面这条命令：

[root@localhost ~]# hostnamectl set-hostname cjh141304092

[root@cjh141304092 ~]#

此方法无需重启直接生效。如果没有，关掉终端然后在打开即可。

2.3域名映射

进入root模式,然后用命令：vi /etc/hosts修改域名映射地址。

如：192.168.0.53是主机cmaster的ip地址，那么就要在hosts文件中添加，格式为：

ip地址（空格隔开）主机名

192.168.0.53 cmster

然后保存并退出，注意，每台子节点的主机都要配置主节点的域名映射

3关闭防火墙

在root权限下执行以下两条指令，关闭防火墙并阻止其开机启动。

systemctl stop firewalld.service#停止firewall

systemctl disable firewalld.service#禁止firewall开机启动

 

4.安装jdk

将之前下载好的jdk复制到虚拟机中的/home/hadoop/目录下，(也就是用户根目录下)

使用命令rpm –ivh /home/joe/jdk-8u101-linux-x64.rpm解压安装

安装完成后使用javac命令测试jdk是否安装成功，如果出现了如下图提示，说明安装jdk成功。（jdk可以在windows下下载好后用u盘传入到虚拟机中，然后执行安装）

 

验证：

 

5.ssh免密登录

    

    exit                             # 退出刚才的 ssh localhost

    cd ~/.ssh/                        # 若没有该目录，请先执行一次ssh localhost

    ssh-keygen -t rsa                   # 会有提示，都按回车就可以

    cat ./id_rsa.pub >> ./authorized_keys   # 加入授权

ssh-keygen -t rsa生成注册码，然后根目录下就会产生一个.ssh文件，用ls -a命令可查看。

 

将.ssh目录下生成的id_rsa.pub文件最追加生产到authorized_keys文件中。（此文件原来没有，执行命令后会自动生成，如下图）

 

验证是否可以免密登录：出现如下情况则表示成功

 

以上步骤只是允许本机免密登录。但是要从另外一台机器上登录的话，还需要将另外台机器的id_rsa.pub公钥发送到要登录的那台机器上。例如A机器要ssh免密登录B机器的话，就要将上述生成的A本机器的id_rsa.pub公钥，发送到B机器用户根目录下。

用命令：scp ~/.ssh/id_rsa.pub hadoop@192.168.0.53:~/

 

命令格式如下：

scp 要发送的文件路径 目的机用户名@目的主机名（或者主机ip地址）：目的机存放路径

发送成功后会发现目的主机用户目录下就会出现相应文件，如下图。

 

然后用cat ~/id_rsa.pub >> ~/.ssh/authorized_keys命令将文件追加到authorized_keys文件的内容后面。文件内容如下：

 

authorized_keys内容变成这样表示成功了。

然后用同样的步骤，将B机器的id_rsa.pub公钥传到A机器上。如果有三台机器，要互相访问的话，那么三台机器两两要配置，然后每台机器都执行以下命令，修改authorized_keys权限，这很重要，如果出现奇怪的错误表示，权限问题。

 

chmod 700 ~/.ssh

公钥复制完成后，将目的每台机器的sshd_config文件做如下配置：

 

进入root权限才能修改：做如下修改：只需找到这三句话，然后将前面的#号去掉即可。然后保存退出。

 

然后用exit退出root用户,用普通用户重启ssh服务，尝试ssh localhost登录，没让输入密码即表示成功了：

 

在另外一台机器上尝试登录，无需密码直接登录则表示成功了。

 

6.解压hadoop并做配置

将下载好的 hadoop-3.0.0-alpha1.tar.gz，放到/home/hadoop目录下，然后用tar -zxvf hadoop-3.0.0-alpha1.tar.gz命令解压到当前目录下。（下载的时候注意不要下载成hadoop-3.0.0-alpha1.src.tar.gz这个是资源文件并不是我们要的配置文件压缩包）

下载链接：

http://112.5.240.8/1Q2W3E4R5T6Y7U8I9O0P1Z2X3C4V5B/mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz

解压：

 

解压完成后出现如下目录

 

我们需要配置的文件如下：

 

6.1hadoop文件配置

这是配置的主节点，其余子节点的配置要和主节点配置一模一样，否则可能会出现主节点启动了所有子节点的datanode，但是在浏览器查看节点信息的时候只有主节点一个，其余节点启动了却看不到信息。所以只要把这些配置文件复制到每个子节点即可。

6.1.1.配置hadoop-env.sh

原来前面有#号，将#号注释去掉，可以通过图形界面编辑，也可以通过vi编辑器编辑。

 

6.1.2.配置core-site.xml文件

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hdfs/tmp</value>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://cjh141304092:9000</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://cjh141304092:9000</value>

</property>

<property>

  <name>hadoop.native.lib</name>

  <value>true</value>

  <description>Should native hadoop libraries, if present, be used.</description>

</property>

</configuration>

6.1.3.配置hdfs-site.xml文件

<configuration>

<property>

<name>dfs.http.address</name>

<value>cjh141304092:50070</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>cjh141304092:50090</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/hdfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/hdfs/data</value>

</property>

</configuration>

6.1.4.配置mapred-site.xml

文件中没有mapred.xml文件，所以将mapred-site.xml.template重命名成mapred-site.xml，

编辑etc/hadoop/mapred-site.xml：

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>cjh141304092:9001</value>

</property>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>cjh141304092:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>cjh141304092:19888</value>

</property>

</configuration>

6.1.5.配置yarn-site.xml

<configuration>

<property>

<name>yarn.resourcemanager.address</name>

<value>cjh141304092:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>cjh141304092:8030</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>cjh141304092:8088</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>cjh141304092:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>cjh141304092:8033</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>cjh141304092</value>

</property>

</configuration>

6.2配置hadoop环境变量

   

 etc/profile: 此文件为系统的每个用户设置环境信息。当用户登录时，该文件被执行一次，并从 /etc/profile.d 目录的配置文件中搜集shell 的设置。一般用于设置所有用户使用的全局变量。

    /etc/bashrc: 当 bash shell 被打开时，该文件被读取。也就是说，每次新打开一个终端 shell，该文件就会被读取。

接着是与上述两个文件对应，但只对单个用户生效：

    ~/.bash_profile 或 ~/.profile: 只对单个用户生效，当用户登录时该文件仅执行一次。用户可使用该文件添加自己使用的 shell 变量信息。另外在不同的LINUX操作系统下，这个文件可能是不同的，可能是 ~/.bash_profile， ~/.bash_login 或 ~/.profile 其中的一种或几种，如果存在几种的话，那么执行的顺序便是：~/.bash_profile、 ~/.bash_login、 ~/.profile。比如 Ubuntu 系统一般是 ~/.profile 文件。

    ~/.bashrc: 只对单个用户生效，当登录以及每次打开新的 shell 时，该文件被读取。

此外，修改 /etc/environment 这个文件也能实现环境变量的设置。/etc/environment 设置的也是全局变量，从文件本身的作用上来说， /etc/environment 设置的是整个系统的环境，而/etc/profile是设置所有用户的环境。有几点需注意：

    系统先读取 etc/profile 再读取 /etc/environment（还是反过来？）

    /etc/environment 中不能包含命令，即直接通过 VAR="..." 的方式设置，不使用 export 。

    使用 source /etc/environment 可以使变量设置在当前窗口立即生效，需注销/重启之后，才能对每个新终端窗口都生效。

通过以下两条命令在系统中添加环境变量：其中HADOOP_HOME的路径为hadoop解压文件目录路径。

[root@cjh1413040 hadoop]# export HADOOP_HOME=/home/hadoop/hadoop-3.0.0-alpha1

[root@cjh1413040 hadoop]# export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@cjh141304092 hadoop]# . /etc/profile #使环境变量立即生效。

操作如下图：

 

红框中的是验证hadoop是否安装成功，当出现如上信息的时候就是成功了。

注意：

以上两条环境变量的语句如果是以命令的形式执行的话，环境变量的有效期是有限的，当命令终端关闭之后，有效期结束，下次还得继续配置，为了永久有效，我们就要将其写入/etc/profile文件中和~/.bashrc文件中。如下图：

 

因为这个文件需要root权限才能更改所以我们切换到root模式去修改文件。

 

进入vi编辑界面,按i开始输入，输入完成后按esc键，然后输入“：wq”保存并退出，输入的“：wq”在界面左下角。

 

当写入~/.bashrc的时候要在hadoop用户模式下，因为这个文件是只有用户才能读取的。每个用户独立

6.3hdfs格式化

通过命令：hdfs namenode -format

 

当出现如下successfully formatted表示格式化成功了

 

6.4启动start-dfs.sh

 

用jps查看启动的任务如下：

 

6.5启动start-yarn.sh

 

start-yarn.sh又启动了两个任务节点，然后用jps查看

6.6浏览器验证

当成功启动以上的任务之后，就能打开如下网页了，

路径格式为：http://主机名：8080

 

这是第二个网页，端口号为50070

 

50070可以看到HDFS的相关信息，8088可以看到Yarn的相关信息。

至此。hadoop环境搭建完成。其余节点配置一样。

7.测试案例：wordcount

7.1创建数据源文件

我们在hadoop-2.6.0根目录下创建一个file文件，然后在文件中写入任意内容：我在此处新建了两个：

 

7.2将文件上传到hdfs.

首先创建input文件夹，

 

将刚才的两个mytest文件上传到input文件夹中，然后查看是否上传成功

 

要查看hdfs文件也可登录50070的网页查看：

 

7.3运行hadoop自带的example示例：

 

命令格式为：

hadoop jar 要执行的jar包 要执行的函数 数据文件目录 输出结果目录

执行进度可以在8088页面查看：

 

查看统计结果：

 

8.windows向linux发送文件

PuTTY小巧方便。但若需要向网络中的Linux系统上传文件，则可以使用PuTTY官方提供的PSCP工具来实现上传。PSCP基于ssh协议实现，其用法与SCP命令非常类似。

下载pscp后运行：

 

也可以将他添加到环境变量中，

然后向linux服务器上传文件：

 

命令格式为：

pscp 本地文件路径 目的主机用户@目的主机ip或者主机名(有做域名映射的话主机名才有效) ：要存放的目录