• 【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具


    目标:
    编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件

    环境:
    win7x64家庭普通版
    eclipse-jee-kepler-SR1-win32-x86_64.zip
    Apache Ant(TM) version 1.8.4 compiled on May 22 2012
    java version "1.7.0_45"

    參考文章:

    插件源代码下载:

    前提:
    ant、jdk、eclipse、Apache hadoop 2.2.0安装包都准备好
    插件源代码包已经下载好
    在虚拟机上已经部署好Apache hadoop 2.2.0环境

    步骤1:
    Apache Hadoop 2.2.0的安装包拷贝至随意windows文件夹,我使用的文件夹是D:Development_ProgramFiles_2014hadoop-2.2.0
    切记:整个路径不能出现空格。否则ant编译过程会出错。

    步骤2(该步骤应该能够省略)
    将Hadoop集群上存配置文件的目录hadooproot/etc/hadoop/复制到D:Development_ProgramFiles_2014hadoop-2.2.0etc下

    步骤3:
    执行cmd,进入插件源代码根文件夹。执行
    cd src/contrib/eclipse-plugin

    步骤4
    运行ant jar -Dversion=2.2.0 -Declipse.home=D:Development_ProgramFiles_2014eclipse2014 -Dhadoop.home=D:Development_ProgramFiles_2014hadoop-2.2.0
    注意:命令中须要指定需编译插件的目标eclipse安装文件夹、hadoop安装文件夹。
    切记:两个文件夹的全路径中都不能带有空格。

    步骤5
    然后就是漫长等待了,主要慢的target:ivy-download。ivy-resolve-common这两步。
    最后生成的插件在
    hadoop2x-eclipse-plugin-masteruildcontribeclipse-pluginhadoop-eclipse-plugin-2.2.0.jar

    步骤6:
    hadoop-eclipse-plugin-2.2.0.jar复制到eclipse的plugins文件夹下,启动eclipse

    步骤7:
    Window--》Preferences 配置hadoop根文件夹:

    注意:配置该路径不过为了运行MR程序过程中。eclipse能找到对应的jar包。

    步骤8:
    打开mapreduce的view:

    配置location:

    注意:MR Master和DFS Master配置必需和mapred-site.xml和core-site.xml等配置文件一致。

    步骤9:
    打开Project Explorer。查看HDFS文件系统:



    步骤10:
    新建mapreduce项目


    创建mapreduce程序:



    执行MR程序。提示无法连接集群,请參见兴许文章:
    【甘道夫】Win7环境Eclipse连接Hadoop2.2.0
    http://blog.csdn.net/u010967382/article/details/25368313

    版权声明:本文博客原创文章。博客,未经同意,不得转载。

  • 相关阅读:
    cocos2d-x 2.2 study ------------------------ 双击事件(转)
    cocos2d-x打包Android
    cocos2d-x在win7下的android交叉编译环境
    Cocos2d-x之CCImage深入分析
    Eclipse开发C/C++之使用技巧小结
    TortoiseSVN安装使用
    cocos2d-x 2.2 study ------------------------ CCCallFunC家族
    cocos2d-x改底层之动态改变UIListView中的某项在链表中的位置
    汇编语言,以10进制的方式显示数字
    JVM
  • 原文地址:https://www.cnblogs.com/lcchuguo/p/4644012.html
Copyright © 2020-2023  润新知