• 大数据系列01：大数据离线计算平台hadoop集群搭建和本地环境配置实践

    　　最近出于兴趣开始研究大数据领域技术，照例从离线计算开始，作为菜鸟一枚，将学习实践过程记录下来，抛砖引玉，大牛请轻拍。鸣谢大数据专家段海涛老师，看他的视频学习的。

    1 环境准备：

    1.1  安装linux操作系统

             centos安装好之后，安装ssh、scp服务，关闭防火墙

    1 　　　[root@mini1 ~]$ yum install openssh-server
2 　　　[root@mini1 ~]$ yum install openssh-client
3 　　　[root@mini1 ~]$ service iptables stop
4 　　　[root@mini1 ~]$ chkconfig iptables off

    1.2  安装jdk，配置环境变量

    1 [root@mini1 ~]$ tar –zxvf jdk-8u111-linux-x64.tar.gz –C /usr/local/java
2 [root@mini1 ~]$ vi /etc/profile
    1 export JAVA_HOME=/usr/local/java/jdk1.8.0_111
2 export PATH=$PATH:$JAVA_HOME/bin

    1.3 配置集群中所有机器的主机别名

    1 [root@mini1 ~]$vim /etc/hosts
    1 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
2 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
3 192.168.1.142   mini1
4 192.168.1.143   mini2
5 192.168.1.144   mini3
6 192.168.1.145   mini4

      

    1.4  配置名称节点机器到数据节点机器的免密登录。

    1 [root@mini1 ~]$ ssh-keygen   　　 #提示时，直接回车即可
2 [root@mini1 ~]$ ssh-copy-id mini2/mini3/mini4 #
3 [root@mini1 ~]$ ssh mini2        #测试是否配置成功

    　　将用来做namnode机器上配置好主机别名的hosts文件【1.3的操作】下发到集群的其他机器

    1 [root@mini1 ~]$ scp /etc/hosts mini2:/etc/
2 [root@mini1 ~]$ scp /etc/hosts mini3:/etc/
3 [root@mini1 ~]$ scp /etc/hosts mini4:/etc/

    1.5  创建服务器的hadoop业务账户

    　　我们单独建一个用户来进行操作hadoop集群安装配置管理工作，用户名和命名均设置为：hadoop

    1 [root@mini1 ~]# useradd hadoop
2 [root@mini1 ~]# passwd hadoop

     　　

    1.6  给业务账号配置高级操作权限

    　　在用来安装名称节点的机器上给Hadoop用户配置操作权限（省去经常切换root用户的麻烦，需在root用户下操）

    1 [root@mini1 ~]$ vi /etc/sudoers
2 hadoop   ALL=(ALL)   ALL

     　　

      

    1.7  使用业务账号登录

    　　使用hadoop账户登录要安装集群的机器

     　　

     　　

      

    1.8  从名称节点机器下发sudoers权限文件到集群

    　　将当前（名称节点）机器上配好hadoop账户权限的sudoers文件下发到其他机器上

    1 [root@mini1 hadoop]# scp /etc/sudoers mini2:/etc
2 [root@mini1 hadoop]# scp /etc/sudoers mini3:/etc
3 [root@mini1 hadoop]# scp /etc/sudoers mini4:/etc

     　　

     

    2 安装和配置hadoop

    2.1  上传hadoopjar包

    　　上传hadoopjar包到一台名称节点服务器上进行安装配置。[安装配置好之后下发到集群中的其他数据节点]

     　　

      

    2.2  创建安装目录并解压安装包

    　　创建一个apps文件夹用来今后安装hadoop相关的软件，并将刚上传的hadoop包解压到该文件夹

    1 [hadoop@mini1 ~]$ mkdir apps
2 [hadoop@mini1 ~]$ tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C apps/

     　　

    　　

      

    2.3  编辑hadoop相关配置文件

    　　编辑相关配置文件（相关配置参数可以配置到在以下任意的一个配置文件中，只是为了方便区分，一一进行配置）：配置参数参考：http://hadoop.apache.org/docs/r0.23.11/hadoop-project-dist/hadoop-common

    　　core-site.xml：公共的核心的配置文件

    　　hadoop-env.sh：hadoop运行时配置文件

    　　hdfs-site.xml：hdfs配置文件

    　　mapred-site.xml.template：mapreduce运行时配置文件

    　　yarn-site.xml：yarn配置文件

     

    2.3.1   hadoop-env.sh

             配置java环境变量（jdk所在目录） 

    1 [hadoop@mini1 hadoop]$ vi hadoop-env.sh

     　　

    2.3.2  core-site.xml

    1 [hadoop@mini1 hadoop]$ vi core-site.xml
     1 <!-- Put site-specific property overrides in this file. -->
 2 
 3 <configuration>
 4 
 5  
 6 
 7 <!-- 配置集群名称节点位置 -->
 8 
 9 <property>
10 
11 <name>fs.defaultFS</name>
12 
13 <value>hdfs://mini1:9000</value>
14 
15 </property>
16 
17  
18 
19 <!-- 配置hadoop运行数据存放目录 -->
20 
21 <property>
22 
23 <name>hadopp.tem.dir</name>
24 
25 <value>/home/hadoop/hdpdata</value>
26 
27 </property>
28 
29  
30 
31 </configuration>

     　　

      

    2.3.3  hdfs-site.xml

    　　hdfs-site.xml文件的配置都有默认值，无特殊情况可以不进行配置，此处仅作练习

    1  [hadoop@mini1 hadoop]$ vi hdfs-site.xml
     1 <configuration>
 2 
 3  
 4 
 5 <!—副本数量，默认为3 -->
 6 
 7 <property>
 8 
 9 <name>dfs.replication</name>
10 
11 <value>2</value>
12 
13 </property>
14 
15  
16 
17 </configuration>

     　　

      

    2.3.4  mapred-site.xml.template

    　　配置完之后更改文件名，去掉后面的template

    1  [hadoop@mini1 hadoop]$ vi mapred-site.xml.template
     1 <configuration>
 2 
 3  
 4 
 5 <!—配置mapreduce资源调度平台类型 -->
 6 
 7 <property>
 8 
 9 <name>mapreduce.framework.name</name>
10 
11 <value>yarn</value>
12 
13 </property>
14 
15  
16 
17 </configuration>
    　　
    1 [hadoop@mini1 hadoop]$ mv mapred-site.xml.template mapred-site.xml

      

     2.3.5  yarn-site.xml

    1 [hadoop@mini1 hadoop]$ vi yarn-site.xml
     1 <configuration>
 2 
 3 <!— 配置名称节点主机名 -->
 4 
 5 <property>
 6 
 7 <name>yarn.resourcemanager.hostname</name>
 8 
 9 <value>mini1</value>
10 
11 </property>
12 
13  
14 
15 <property>
16 
17 <name>yarn.nodemanager.aux-services</name>
18 
19 <value>mapreduce_shuffle</value>
20 
21 </property>
22 
23  
24 
25 </configuration>

     　　

      

    3 下发集群

    3.1  将按照配置好的hadoop下发到数据节点机器上

    　　名称节点的的hadoop安装配置好之后，将hadoop下发到集群中的其他机器

    1 [hadoop@mini1 ~]$ scp -r apps/ mini2:/home/hadoop/
2 [hadoop@mini1 ~]$ scp -r apps/ mini3:/home/hadoop/
3 [hadoop@mini1 ~]$ scp -r apps/ mini4:/home/hadoop/

      

    3.2   配置hadoop环境变量并将配置文件下发到节点机器上并刷新

    　　在名称节点机器上配置好已装好的hadoop的环境变量，并将环境变量配置文件下发到集群中的其他机器，并刷新配置文件。

    1 [hadoop@mini1 hadoop-2.6.4]$ sudo vi /etc/profile
    1 export JAVA_HOME=/usr/local/java/jdk1.8.0_111
2 export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
3 export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.5
4 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/bin:/usr/local/java/jdk1.8.0_111/bin:$ZOOKEEPER_HOME/bin
    　　
    1 [hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini2:/etc/
2 [hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini3:/etc/
3 [hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini4:/etc/

    　　在其他机器上刷新系统配置文件

    1 [hadoop@mini1 hadoop-2.6.4]$ source /etc/profile

      

     

    4  启动hadoop服务机器

    4.1   启动前格式化hdsf文件系统

    　　格式化名称节点机器上的hdfs系统：

    1 [hadoop@mini1 ~]$ hadoop namenode –format

         出现：“Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted.”则表示格式化成功

     　　

     

    4.2  启动名称节点（namenode）上的服务

    　　发现容量为空，数据节点的数量为0. 

    　　

     　　启动命令：

    1 [hadoop@mini1 sbin]$ cd /home/hadoop/apps/hadoop-2.6.4/sbin   #配置了hadoop环境变量本步可以省略
2 [hadoop@mini1 sbin]$ hadoop-daemon.sh start namenode

     　　查看启动状态命令：

    1 [hadoop@mini1 ~]$ jps

     　　

       

    4.3  启动数据节点（datanode）上的服务并查看状态

    1 [hadoop @mini2/3/4 ~]# hadoop-daemon.sh start datanode
2 [hadoop@mini2/3/4 ~]$ jps

     　　

       

    4.4   从web服务中查看hadoop集群状态

    　　打开浏览器访问：http://mini1:50070，查看集群状态和节点分布

     　　

    　　

      

     

    5 配置批量操作脚本

    　　在hadoop的sbin目录下，有很多批量操作（启动或者停止）的脚本，其本质是循环调用“ssh+主机+命令”的方式进行操作，因此需要在/home/hadoop/apps/hadoop-2.6.4/etc/hadoop目录下的slaves文件配置数据节点的主机名。

    5.1  查看命令脚本目录

    1 [hadoop@mini1 sbin]$ cd /home/hadoop/apps/hadoop-2.6.4/sbin

     　　

       

    5.2  在slaves文件配置数据节点主机

    1 [hadoop@mini1 sbin]$ /home/hadoop/apps/hadoop-2.6.4/etc/hadoop
    2 [hadoop@mini1 hadoop]$ vi slaves

     　　

     　　初始只有localhost

    　　 

    　　添加集群数据节点主机，方便脚本调用

    　　

      

    5.3   测试批量操作

             停止所有节点hdfs服务         

    1 [hadoop@mini1 hadoop]$ stop-dfs.sh

     　　

     查看是否批量停止成功：

    　　

    　　

    　　

      

    6  hadoop本地开发环境搭建

    6.1  解压安装包

     　　 

     

    6.2  使用windows平台的包的bin和lib目录替换原有的bin和lib目录

     　　

      

    6.3  配置环境变量

     　　

    　　

    　　

      

    6.4  添加jar包到集成开发工具

     　　

    　　

    　　

    　　

     

     

     

     

     

     
  • 相关阅读:
    array_merge() 用法
    session_unset 与 session_destroy 区别
    关联模型中
    TP框架中分页类的使用
    ajax验证用户名是否被注册 ; ajax提交form表单
    点击图片img提交form表单
    输入框蓝光特效
    搭建owncloud私有云
    小米路由器3-R3 刷固件
    mysql的sql_mode合理设置
  • 原文地址：https://www.cnblogs.com/guyebinghe/p/guyebinghe_hadoop01.html
Copyright © 2020-2023  润新知