• Hadoop 中 Eclipse 的配置



    先启动Hadoop守护进程,进入hadoop安装目录,执行bin/start-all.sh

    主要是为了之后能正确测试   


    Ubuntu中下载安装Eclipse,执行sudo apt-get install eclipse

    一直等待下载自动安装,过程比较缓慢,给点耐心


     Eclipse下安装hadoop-eclipse-plugin(插件jar包已提供)。复制此插件jar包到eclipse安装目录/plugins/ 下。可通过whereiseclipse查看eclipse安装目录。

           (如无意外是将该插件jar包放到 /usr/lib/eclipse/pubgins 目录下)


    重启eclipse 安装插件成功。如果插件安装成功,【Window】 —> 【Preferences】,会发现 Hadoop Map/Reduce 选项

    选择 Hadoop Map/Reduce 在右边点击Browse,选择 Hadoop安装目录。配置完成后退出。


    配置Map/Reduce Localtions

    打开Map/Reduce Localtions窗口

    即可打开Map/Reduce Localtions窗口

    右键点击空白处进行新建

    location name:可随意填写,它表示一个Map/Reduce Localtions标识;
    Map/Reduce Master 这个框里
        Host:就是jobtracker 所在的集群机器,这里写localhost
        Port:就是jobtracker 的port,这里写的是9001
        这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port  
    DFS Master 这个框里
        Host:就是namenode所在的集群机器,这里写localhost
        Port:就是namenode的port,这里写9000
        这两个参数就是core-site.xml里面fs.default.name里面的ip和port
        Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所以是一样的,就勾选上
    user name:这个是连接hadoop的用户名,

     



    选择Advanced Parameters进行设置

    修改以下配置:

    ​修改 hadoop.tmp.dir 使其与 core-site.xml 配置保持一直

    修改 dfs.replication 使其与 hdfs-site.xml 保持一致

    保存,退出,如果显示可以文件夹书>=2即表明创建成功,如果成功会显示连接失败


    配置:ssh的authorized_keys
    eclipse中配置:
    【Window】-》【Preferences】-》【General】-》

    【Network Connections】-》【SSH2】-》【General】-》【SSH2 home】
    配置存放authorized_keys的路径;

    与配置中的保持一直;


    配置 Hadoop 安装目录中 conf 中的 hdfs-site.xml,添加如下语句:


    1、新建项目。 

    【File】-->【New】-->【Project】 -->【Map/Reduce Project】 

    项目名可以随便取,如maptest。选中maptest项目下的src,右键新建一个class类,名称定义为example,代码见example.java

    2、上传模拟数据文件夹。为了运行程序,需要一个输入的文件夹,和输出的文件夹。输出文件夹,在程序运行完成后会自动生成。

    将文件testnew上传到分布式文件系统中。 

    3、运行项目。

    1.在新建的项目maptest,点击example.java,右键-->Run As-->RunConfigurations 

    2.在弹出的RunConfigurations对话框中,点Java Application,右键-->New,这时会新建一个application名为example

    3.配置运行参数,点Arguments,在Programarguments中输入要传给程序的输入文件和要求程序将计算结果保存的文件夹,如: 

     

    4、点击Run,运行程序。点击Run,运行程序,过段时间将运行完成,等运行结束后,可以在终端中用命令验证是否成功。

     


    如配置出了问题,重新更新配置,可能需要重启才能是新的配置生效。


    参考:

    http://f.dataguru.cn/thread-224817-1-1.html

    http://blog.csdn.net/caoshichaocaoshichao/article/details/15493819

    http://f.dataguru.cn/thread-168863-1-1.html

    http://f.dataguru.cn/thread-234138-1-1.html






  • 相关阅读:
    jdbc框架 commons-dbutils的使用
    SpringBoot整合Quartz和H2的例子
    Microsoft VS 2008 过期解决方法
    数据库事务的隔离级别
    angularJS中ng-if的用法
    angularJS中ng-change的用法
    Hello,Akka
    Yum常用命令及Yum中文手册
    最大堆的插入/删除/调整/排序操作(图解+程序)(JAVA)
    别人要访问我的电脑上部署的tomcat,必须关闭防火墙吗?
  • 原文地址:https://www.cnblogs.com/zhanyao/p/3682084.html
Copyright © 2020-2023  润新知