• 【转载】编译 Hadoop 1.0.2 eclipse插件


    以下内容经测试在Hadoop 1.0.3 中成功。

    新手一下午+一晚上+一早晨的探索,为后续新手留下经验如下:

    1、在eclipse里新建一个java项目,名字随意。

    2、把hadoop 1.0.2解压目录\src\contrib\eclipse-plugin下所有文件直接拖拽到项目中。\src\contrib目录下的build-contrib.xml也拖拽到项目中。hadoop根目录下的所有jar文件拖拽到eclipse项目中bin目录下。(Linux下:需要更改下src中的包名,可以把src\java\org文件夹拖拽到eclipse项目的src中;不用复制hadoop根目录下的jar包至bin目录,因为根本就没有bin…改为添加user library就行;项目名上右键,build path - add libraries 选择 plugin dependencies - next -finish)

    3、修改build-contrib.xml:找到<property name="hadoop.root" location="${root}/http://www.cnblogs.com/../"/>修改location为hadoop1.0.2实际解压目录,在其下添加

          <property name="eclipse.home" location="D:/Programming/Eclipse"/>
          <property name="version" value="1.0.2"/>

          具体位置需要改为你的,注意location里的斜杠方向。

    4、修改build.xml:找到<import file="../build-contrib.xml"/>,改为<import file="build-contrib.xml"/>。

    5、在hadoop解压目录下复制两个jar,没有目录就新建这些目录。分别是:\hadoop-core-1.0.2.jar 到 \build\hadoop-core-1.0.2.jar;\lib\commons-cli-1.2.jar到\build\ivy\lib\Hadoop\common\commons-cli-1.2.jar。(如果没有后面那个jar包先按步骤6运行下build.xml,会自动下载)

    6、右键eclipse里的build.xml选择run as - ant build。等待一小会就好了。编译后的文件在:\build\contrib 中的 hadoop-eclipse-plugin-1.0.2.jar。(linux下:按我之前拖org文件夹的方法,此处会报错。类似:BUILD FAILED /home/darkylin/Workspace/Contrib/build.xml:62: srcdir "/home/darkylin/Workspace/Contrib/src/java" does not exist! 修改build-contrib.xml 中)<property name="src.dir"  location="${root}/src/java"/>,去掉location最后面的/java;如此处报编译错误,提示“软件包org.apache.hadoop.fs 不存在”见附录1)

    7、这个jar包还不行,虽然能创建视图,新建location,但是连接的时候会各种报错。缺少hadoop的jar包,【引用参考1】将/lib目录下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.8.8.jar 和 jackson-mapper-asl-1.8.8.jar 等5个包复制到hadoop-eclipse-plugin-1.0.2.jar的lib目录下(用winRAR打开hadoop-eclipse-plugin-1.0.2.jar,拖进去就行)。然后,修改该包META-INF目录下的MANIFEST.MF,将classpath修改为一下内容:

    Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar。

    8、至此,这个插件就算编译完成了。推荐使用link方式挂载到eclipse中。【参考3】

    9、使用可参考:http://hi.baidu.com/geogre_jsj/blog/item/f5bd4065fb99b1c081cb4a88.html#0

    10、注意9中引用的“10. 在弹出来的对话框里,根据core-site.xml 和 mapred-site.xml里的端口,进行填写:”port端口号的填写顺序:先是mappred-site.xml配置的端口号,后是core-site.xml中配置的。【参考2】

    参考:1、http://blog.csdn.net/matraxa/article/details/7182382

    2、http://www.360doc.com/content/10/0803/13/2159920_43357680.shtml

    3、http://hi.baidu.com/zlhxinxi83/blog/item/67456f33ed9590fe1a4cff99.html

    附录1:

    在build.xml中添加:

         <path id="hadoop-jars">
            <fileset dir="${hadoop.root}/">
              <include name="hadoop-*.jar"/>
            </fileset> 
          </path>

    在<path id="classpath">中添加:<path refid="hadoop-jars"/>


    原帖:http://blog.csdn.net/yundixiaoduo/article/details/7451753

  • 相关阅读:
    【IIS错误】IIS各种错误
    【IIS错误
    【C#】C#操作Excel文件(转)
    【C#】语音识别
    【IIS错误】未能加载文件或程序集“AAAAA”或它的某一个依赖项。试图加载格式不正确的程序。
    【Web前端】清除css、javascript及背景图在浏览器中的缓存
    【模态窗口-Modeldialog】提交请求时禁止在新窗口打开页面的处理方法
    第八周学习进度表
    梦断代码阅读笔记01
    第二阶段冲刺第七天
  • 原文地址:https://www.cnblogs.com/siwei1988/p/2621589.html
Copyright © 2020-2023  润新知