• Ubuntu中安装Hadoop


    安装前

    1,更新apt

    sudo apt-get update

      会让你输入密码(自己登录Ubuntu的时候设置的),输入密码不会显示在终端面板上,确定自己敲对之后点回车就行。

    2,安装SSH服务器

    sudo apt-get install openssh-server

         安装过程中有个Y/N?     选Y

    如果出现

     解决一:

    sudo rm /var/cache/apt/archives/lock
    sudo rm /var/lib/dpkg/lock
    sudo rm /var/lib/dpkg/lock-frontend

     解决二:

    ps -e | grep apt

      会出现类似这样结果

           这时我们只需要杀死apt-get进程就好了(找不到还是用解决一强制解锁吧-_-||)

    sudo kill 【进程号(如701)】

    3,登录本机

    ssh localhost
    

      出现yes or no ?  yes

           输入密码(你自己知道)

    4,利用ssh-keygen生成密钥(主要用来设置下次登录不用输密码)

    cd ~/.ssh/
    ssh-keygen -t rsa
    三下回车
    cat ./id_rsa.pub >> authorized_keys
    

    5,安装JAVA环境

    sudo apt-get install default-jre default-jdk

       1)打开环境变量配置文件

    vim ~/.bashrc
    按I键  在开头插入
    export JAVA_HOME=/usr/lib/jvm/default-java
    Esc键保存  输入 :wq 退出
    

           如果没有安装vim    参考地址https://blog.csdn.net/lixinghua666/article/details/82289809

                                vim基本使用https://www.cnblogs.com/msq2000/p/11781332.html

    sudo apt install vim

          2)使变量生效

    source ~/.bashrc

        3)检查

    echo $JAVA_HOME

           出现

    安装Hadoop

    1)下载hadoop-2.7.1.tar.gz     下载地址:链接: https://pan.baidu.com/s/1Nkp4hQEMWblKqdBvj-lUZA 密码: yy18

      参考地址:https://blog.csdn.net/se7en_q/article/details/47258007

                https://www.cnblogs.com/bybdz/p/9534079.html

    2)我把文件放在了共享文件夹/media/sf_gx下,解压,放到/usr/local下

    sudo tar -zxf  /media/sf_gx/hadoop-2.7.1_64bit.tar.gz -C /usr/local
    

    3)改名

    cd /usr/local
    sudo mv ./hadoop-2.7.1 ./hadoop

    4)修改权限(msq是我的用户名,根据你的实际情况修改)

    sudo chown -R msq ./hadoop
    

    5)在/usr/local/hadoop/目录下,建立tmp、hdfs/name、hdfs/data目录

    cd /usr/local/hadoop
    mkdir tmp
    mkdir hdfs
    mkdir hdfs/data
    mkdir hdfs/name
    

    6)Hadoop配置 

    进入/usr/local/hadoop/etc/hadoop目录,配置 hadoop-env.sh等。涉及的配置文件如下: 
    core-site.xml 
    hdfs-site.xml 
    mapred-site.xml 
    yarn-site.xml

         (1)配置core-site.xml 
        添加如下配置:

    <configuration>
      <property>
        <name>fs.default.name</name>  
        <value>hdfs://localhost:9000</value>
        <description>HDFS的URI,文件系统://namenode标识:端口号</description>
      </property>
     
      <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
        <description>namenode上本地的hadoop临时文件夹</description>
      </property>
    </configuration>
    

         (2)配置hdfs-site.xml 

                添加如下配置

    <configuration>
       <!—hdfs-site.xml-->
      <property>
         <name>dfs.name.dir</name>
         <value>/usr/local/hadoop/hdfs/name</value>
         <description>namenode上存储hdfs名字空间元数据 </description> 
      </property>
    
      <property>
         <name>dfs.data.dir</name>
         <value>/usr/local/hadoop/hdfs/data</value>
         <description>datanode上数据块的物理存储位置</description>
      </property>
    
      <property>
         <name>dfs.replication</name>
         <value>1</value>
         <description>副本个数,配置默认是3,应小于datanode机器数量</description>
      </property>
    </configuration>
    

         (3)配置mapred-site.xml  

            这个文件初始时是没有的,有一个模板文件,mapred-site.xml.template

        所以需要拷贝一份,并重命名为mapred-site.xml

        添加如下配置:

    <configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    </configuration>
    

        (4)配置yarn-site.xml 

        添加如下配置:

    <configuration>
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
      <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>msq</value>
      </property>
    </configuration>

    7)进入hadoop  查看版本信息

    cd /usr/local/hadoop
    ./bin/hadoop version

    8)启动hadoop

       (1)格式化namenode

    /usr/local/hadoop/bin/hdfs namenode -format
    

       出现0代表成功

           (2)启动NameNode 和 DataNode 守护进程(#是超级用户 $是一般用户)

    $ ./sbin/start-dfs.sh

       (3)启动ResourceManager 和 NodeManager 守护进程

    $ ./sbin/start-yarn.sh

    9)检查是否启动成功

    jps
    

      出现

         安装成功^.^

    在浏览器中输入:localhost:50070/

    出现

    完美~~~

  • 相关阅读:
    OpenGL3:先导篇 数据类型
    Linux开发:同步与异步
    前端面试题
    工具
    API和DLL
    CSS了一个浮动导航条
    AJAX背景技术介绍
    2014年8月18日17:02:53
    怎么增加照片的KB大小
    HTML5增加的几个新的标签
  • 原文地址:https://www.cnblogs.com/msq2000/p/11779015.html
Copyright © 2020-2023  润新知