• 配置hadoop本地开发环境(第4篇)


    摘要:

    配置本地hadoop开发环境

    配置在Eclipse环境中管理hdfs目录

    hadoop下载:

    https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common  //清华镜像

    https://mirror.bit.edu.cn/apache/hadoop/common

    https://downloads.apache.org/hadoop/common/

    所有Hadoop版本

    https://archive.apache.org/dist/hadoop/common/  

    1.本地hadoop开发环境配置

    保证本机配置好jdk、安装好eclipse   //我的eclipse是用的绿色版

    1)windows安装hadoop

    我的分布式环境hadoop版本号是2.7.5,因此下载hadoop2.7.5.zip

    解压后路径:E:javahadoop

    2)配置系统环境变量

    配置系统变量HADOOP_HOME:E:javahadoop

    配置系统变量Path: 在最后追加%HADOOP_HOME%in

    3)配置本地运行MR程序

    E:javahadoop in目录下的winutils.exe和hadoop.dll拷贝到C:WindowsSystem32目录下。

    说明:windows本地运行mr程序时(不提交到yarn,运行在jvm单线程执行),hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常。

    2.eclipse中安装hadoop插件

    1)下载插件

    也可以下载hadoop-eclipse-plugin插件

    https://github.com/winghc/hadoop2x-eclipse-plugin

    放到eclipse-oxygenplugins  或 eclipse-oxygendropins下

    我下载的hadoop-eclipse-plugin-2.7.5.jar,放到E:javaeclipse-oxygenplugins中

    2)安装配置插件

    重启eclipse

    进入Windows –Preferences,我们会看见多了一个Hadoop MapReduce,说明我们安装好了eclipse的hadoop插件。

    配置插件:点击Hadoop Map/Reduce选项,进入配置页面,点击Browse,选择Hadoop安装路径。  ##我的路径是E:javahadoop

    3.配置Map/Reduce Location

    打开 Windows—> show view —> Other,选择MapReduce Tools下的Map/Reduce Locations。

    点击下图右上角位置的小象,进入配置页面。

     

    说明:

    Location name自定义一个名字就行;

    配置Map/Reduce Master

    Host:master节点的hostname

    Port:50070    

    说明:50070是hdfs文件系统的端口,192.168.56.110:50070可以查看你文件系统

    配置DFS Master

    port为HDFS端口号,默认是9000

    User name为安装Hadoop节点用户名称  

    ##我的master节点 [root@master hadoop]#,因此我的user name是root

    4.测试

    在Xshell中,连接master,在hdfs中创建文件夹he

    [root@master hadoop]# hadoop fs -mkdir /he

    在eclipse中就可以适合地看见hdfs文件的情况。如下图:

    通过浏览器也可以查看hdfs的情况:

    http://192.168.56.110:50070/explorer.html#/

     备注:一定要修改

    C:WindowsSystem32driversetchosts文件

    192.168.56.110 master       ##在这里耗费了好会儿

    到此,eclipse配置本地hadoop环境ok。

  • 相关阅读:
    Win10 anaconda python3.6 安装pcap
    跨平台 GUI可视化 网络调试工具
    参考文献相关概念
    linux压缩和解压缩命令大全[转]
    PowerShell 惠普打印机双面驱动自动设置已安装
    CentOS7 一键安装KMS服务【整理】
    pdf转word OCR
    CentOS7 MySQL
    PDF文件比对工具
    pdf文件中截取eps图片并压缩
  • 原文地址:https://www.cnblogs.com/hemomo/p/12894253.html
Copyright © 2020-2023  润新知