• 快速搞定Windows10环境下hadoop安装和配置


    一. Windows10环境下安装 

        1.  下载安装JDK1.8,并配置环境变量,注意:JAVA_HOME环境变量配置的路径不要包含空格,C盘中的Program Files目录名称可用PROGRA~1代替即

        2.  下载Hadoop镜像安装文件,下载地址:镜像文件

     
     

    3.  解压Hadoop镜像文件到磁盘目录下,注意:可以解压在非C盘下,存储目录不要包含中文和空格

    4.  配置HADOOP_HOME环境变量,并在系统环境变量Path中添加Hadoop环境变量

     
     
     
     

    5. 打开cmd窗口,输入hadoop version命令验证

     
     

    备注: 若出现 Error: JAVA_HOME is incorrectly set. Please update F:hadoopconfhadoop-env.cmd的报错,则是因为JAVA_HOME环境变量配置的路径含有空格的原因,请参考步骤1

    6.  Hadoop伪分布式部署配置

     a.  下载windows专用二进制文件和工具类依赖库: hadoop在windows上运行需要winutils支持和hadoop.dll等文件

        https://github.com/steveloughran/winutils

         在github仓库中找到对应版本的二进制库hadoop.dll和winutils.exe文件,然后把文件拷贝到hadoop解压的bin目录中去

    注意:  hadoop.dll等文件不要与hadoop冲突,若出现依赖性错误可以将hadoop.dll放到C:WindowsSystem32下一份

       b.  修改etc目录下的core-site.xml文件 

       <configuration>

        <property>

            <name>dfs.replication</name>

            <value>1</value>

        </property>

        <property>

            <name>dfs.namenode.name.dir</name>

            <value>/E:/tools/hadoop-3.1.2/hadoop-3.1.2/data/dfs/namenode</value>

        </property>

        <property>

          <name>dfs.datanode.data.dir</name>

          <value>/E:/tools/hadoop-3.1.2/hadoop-3.1.2/data/dfs/datanode</value>

        </property>

      </configuration>

      注意:windows目录路径要改成使用正斜杠,且磁盘名称最前面也需要一个正斜杠

       c.  修改hdfs-site.xml配置文件

         <configuration>

       <property>

        <name>hadoop.tmp.dir</name>

        <value>/E:/tools/hadoop-3.1.2/hadoop-3.1.2/data</value>

        <description>存放临时数据的目录,即包括NameNode的数据</description>

        </property>

       <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

       </property>

       </configuration>

        注意:windows目录路径要改成使用正斜杠,且磁盘名称最前面也需要一个正斜杠

       d.   节点格式化

            在cmd窗口执行命令:hdfs namenode -format

           执行成功结果:

     
     
     
    多出data文件夹

     7. 启动&关闭Hadoop

         a.  进入Hadoop的sbin目录下执行start-dfs.cmd启动Hadoop     

         b.  Web界面查看HDFS信息,在浏览器输入http://localhost:9870/,可访问NameNode

            

     




  • 相关阅读:
    项目实现多数据库支持 规格严格
    KeyTool 4096 RSA JDK1.5 1.4 规格严格
    KeyTool用法 规格严格
    Tomcat ssl配置 规格严格
    redmine install 规格严格
    zlib1.2.5的编译 规格严格
    Class unload 规格严格
    Ubuntu 8.10 “Intrepid Ibex” 发布时间表确定
    22项Windows或Mac不能而Linux可以的事
    英语谚语
  • 原文地址:https://www.cnblogs.com/sea520/p/13530185.html
Copyright © 2020-2023  润新知