• Hadoop单机模式安装


    练习实验楼实验  :  原文

    一、实验介绍

    1.1 实验内容

    • hadoop三种安装模式介绍
    • hadoop单机模式安装
    • 测试安装

    1.2 实验知识点

    • 下载解压/环境变量配置
    • Linux/shell
    • 测试WordCount程序

    1.3 实验环境

    • hadoop2.6.0

    1.4 适合人群

    本课程难度为一般,属于初级级别课程,适合具有linux基础的用户。

    二、Hadoop启动模式

    Hadoop集群有三种启动模式:

    • 单机模式:默认情况下运行为一个单独机器上的独立Java进程,主要用于调试环境
    • 伪分布模式:在单个机器上模拟成分布式多节点环境,每一个Hadoop守护进程都作为一个独立的Java进程运行
    • 完全分布式模式:真实的生产环境,搭建在完全分布式的集群环境

    三、用户及用户组

    需要先添加用来运行Hadoop进程的用户组hadoop及用户hadoop。

    3.1 添加用户及用户组

    创建用户hadoop

    $ sudo adduser hadoop

    并按照提示输入hadoop用户的密码,例如密码设定为 hadoop。注意输入密码的时候是不显示的。

    3.2 添加sudo权限

    将hadoop用户添加进sudo用户组

    $ sudo usermod -G sudo hadoop

    四、安装及配置依赖的软件包

    4.1 安装openssh-server、java、rsync等

    $ sudo apt-get update
    $ sudo apt-get install openssh-server rsync
    $ sudo service ssh restart
    $ sudo apt-get install openjdk-7-jdk
    $ java -version

    4.2 配置ssh免密码登录

    切换到hadoop用户,需要输入添加hadoop用户时配置的密码。后续步骤都将在hadoop用户的环境中执行。

    $ su -l hadoop

    配置ssh环境免密码登录。

    在/home/hadoop目录下执行

    $ ssh-keygen -t rsa   #一路回车
    $ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
    $ chmod 600 .ssh/authorized_keys

    验证登录本机是否还需要密码,第一次需要密码以后不需要密码就可以登录。

    $ ssh localhost

    五、下载并安装Hadoop

    在hadoop用户登录的环境中进行下列操作:

    5.1 下载Hadoop 2.6.0

    $  su hadoop
    $  hadoop
    $  sudo wget http://labfile.oss.aliyuncs.com/hadoop-2.6.0.tar.gz

    5.2 解压并安装

    $ sudo tar zxvf hadoop-2.6.0.tar.gz
    $ sudo mv hadoop-2.6.0 /usr/local/hadoop
    $ sudo chmod 777 /usr/local/hadoop

    5.3 配置Hadoop

    $ vim /home/hadoop/.bashrc

    在/home/hadoop/.bashrc文件末尾添加下列内容:

    #HADOOP START
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
    export HADOOP_INSTALL=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_INSTALL/bin
    export PATH=$PATH:$HADOOP_INSTALL/sbin
    export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
    export HADOOP_COMMON_HOME=$HADOOP_INSTALL
    export HADOOP_HDFS_HOME=$HADOOP_INSTALL
    export YARN_HOME=$HADOOP_INSTALL
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
    #HADOOP END

    保存退出后,激活新加的环境变量

    $ source ~/.bashrc

    至此,Hadoop单机模式安装完成,可以通过下述步骤的测试来验证安装是否成功。

    六、测试验证

    创建输入的数据

    hadoop@dahu-OptiPlex-3046:/usr/local/hadoop$ cat input/*
    I miss you
    I love you
    I hate him

    执行Hadoop WordCount应用(词频统计)

    $ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output

    查看生成的单词统计数据

    hadoop@dahu-OptiPlex-3046:/usr/local/hadoop$ cat output/*
    I    3
    hate    1
    him    1
    love    1
    miss    1
    you    2

    注意:如果要继续下一节“伪分布式部署”实验,请勿停止本实验环境,直接点击文档上方的“下一个实验”按钮进入,因为伪分布式部署模式需要在单机模式基础上进行配置。

    七、小结

    本实验中介绍了Hadoop单机模式的安装方法,并运行wordcount进行基本测试。

    我个人在做这个实验的时候,4.1是最有问题的,因为系统是Ubuntu16.04,安装源已经默认没有openjdk7了,所以要自己手动添加仓库,如下:

       sudo add-apt-repository ppa:openjdk-r/ppa  
       sudo apt-get update   
       sudo apt-get install openjdk-7-jdk
  • 相关阅读:
    Entity Framework后台采用分页方式取数据与AspNetPager控件的使用
    Excel Interactive View
    让Visual Studio 2013为你自动生成XML反序列化的类
    如何在C#中生成与PHP一样的MD5 Hash Code
    JavaScript text highlighting JQuery plugin
    JQuery文本框水印插件的简单实现
    Chrome浏览器在Windows8/8.1下显示模糊的解决办法
    Sharing count on Facebook, Twitter, and LinkedIn
    Windows 8.1——将网站固定到开始菜单,自定义图标、颜色和Windows推送通知
    [转]php使用 memcache 来存储 session
  • 原文地址:https://www.cnblogs.com/dahu-daqing/p/6928494.html
Copyright © 2020-2023  润新知