• Ubuntu下eclipse开发hadoop应用程序环境配置


    2015-3-26

    参考:

    http://blog.csdn.net/xiaotom5/article/details/8080595

    http://www.cnblogs.com/linjiqin/p/3147902.html

    ------------------------------------------------

    环境:

    ubuntu 14.10

    vmware10.0

    Hadoop 2.6.0

    Jdk1.7

    ------------------------------------------------

    1、下载eclipse

    http://www.eclipse.org/downloads/?osType=linux

    eclipse-java-luna-SR2-linux-gtk-x86_64.tar.gz 

    2、下载最新版本的hadoop插件

    hadoop-eclipse-plugin-2.6.0.jar

    将将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse/plugins目录下,重启eclipse。

    (1)、在左边的 project explorer 上头会有一个 DFS locations的标志
    (2)、在 windows -> preferences里面会多一个hadoop map/reduce的选项,选中这个选项,然后右边,把下载的hadoop根目录选中

    如果能看到以上两点说明安装成功了。

    3、在Eclipse中指定Hadoop的安装目录
    选择“Window”菜单下的“Preference”,然后弹出一个窗体,在窗体的左侧中找到“Hadoop Map/Reduce”选项,点击此选项,选择Hadoop的安装目录。结果如下图:

    4、切换“Map/Reduce”工作目录
    有两种方法:
    1)、选择“Window”菜单下选择“Open Perspective–>Other”,弹出一个窗体,从中选择“Map/Reduce”选项即可进行切换。

    2)、在Eclipse软件的右上角,从中选择“Map/Reduce”,然后点击“OK”即可确定。

    切换到“Map/Reduce”工作目录下的界面如下图所示。

    配置DFS Locations
    建立与Hadoop集群的连接,在Eclipse软件下面的“Map/Reduce Locations”进行右击,弹出一个选项,选择“New Hadoop Location ”,然后弹出一个窗体。

    注意上图中的红色标注的地方,是需要我们关注的地方。
    Location Name:可以任意填,标识一个“Map/Reduce Location”

    Map/Reduce Master 这个框里
    Host:就是jobtracker 所在的集群机器,这里写localhost
    Hort:就是jobtracker 的port,这里写的是9101
    这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port  
    DFS Master 这个框里
    Host:就是namenode所在的集群机器,这里写localhost
    Port:就是namenode的port,这里写9100
    这两个参数就是core-site.xml里面fs.default.name里面的ip和port
    (Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所以是一样的,就勾选上)

    接着点击“Advanced parameters”从中找到“hadoop.tmp.dir”,修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是“/home/hadoop/hadoop-datastore/”,这个参数在“core-site.xml”进行了配置。

    再从中找到“fs.default.name”,修改成为我们Hadoop集群中设置的地址,我们的Hadoop集群是“hdfs://localhost:54310”,这个参数在“core-site.xml”进行了配置。

    点击“finish”之后,会发现Eclipse软件下面的“Map/Reduce Locations”出现一条信息, 就是我们刚才建立的“Map/Reduce Location ”。

    第五步:查看HDFS文件系统
    查看HDFS文件系统,点击Eclipse软件左侧的“DFS Locations”下面的“localhost”,就会展示出HDFS上的文件结构(记得要先启动hadoop,不然看不到效果)。

    到此为止,我们的Hadoop Eclipse开发环境已经配置完毕。

  • 相关阅读:
    centos7配置静态IP地址
    Linux和Windows的区别
    Linux就该这么学——文件的特殊权限
    Linux就该这么学——文件权限与归属
    Linux就该这么学——用户身份与能力
    Linux就该这么学——计划任务服务程序
    Linux就该这么学——流程控制语句
    Linux就该这么学——编写SHELL脚本
    Linux就该这么学——初识vim编辑器
    Linux就该这么学——重要的环境变量
  • 原文地址:https://www.cnblogs.com/marost/p/4370291.html
Copyright © 2020-2023  润新知