• Hadoop1.0.3集成eclipse开发


    本文来自:http://www.ilablog.org/%E7%BC%96%E8%AF%91hadoop-eclipse%E6%8F%92%E4%BB%B6/

    本人由于工作原因目前没有亲自尝试,那位尝试如果出错可以将错误写在评论里,我们共同探讨。

    一、所需软件

    Windows 7旗舰版

    Eclipse 3.7.0

    Ant

    Cygwin

    hadoop-1.0.3

    二、Ant和Cygwin安装

    1、Ant安装

    (1)将Ant解压放在合适目录:比如D盘。

    (2)配置Ant环境变量:D:Antapache-ant-1.8.4in

    (3)控制台中输入echo %PAHT% 使环境变量生效。(没必要重启)

    2、Cygwin 安装(cygwin是一个在windows平台上运行的unix模拟环境)

    (1)从Cygwin官网下载setup.exe进行在线安装。

    clip_image002

    clip_image004

    列表中有很多可以下载的网址,找合适的选一个就行,比如网易的。

    clip_image006

    clip_image008

    clip_image010

    (3)配置环境Cygwin环境变量。

    H:Cygwinin

    H:Cygwinusrsbin

    三、编译hadoop-eclipse-plugin-1.0.3.jar插件

    1、将hadoop解压。比如:D:hadoop-1.0.3。

    2、进入D:hadoop-1.0.3srccontrib目录。将build-contrib.xml复制到D:hadoop-1.0.3srccontribeclipse-plugin目录下。

    3、修改build-contrib.xml文件:

    将hadoop.root改为hadoop解压目录。

    <property name=”hadoop.root” location=” D:hadoop-1.0.3″/>

    在下面添加如下两行:Eclipse安装根目录,和hadoop版本。

    <property name=”eclipse.home” location=”D:eclipse”/>

    <property name=”version” value=”1.0.3″/>

    4、在D:hadoop-1.0.3srccontribeclipse-plugin 目录下创建lib目录,并将以下jar包复制进来:commons-configuration-1.6.jar、commons- httpclient-3.0.1.jar、commons-lang-2.4.jar

    jackson-core-asl-1.8.8.jar、jackson-mapper-asl-1.8.8.jar.

    5、在D:hadoop-1.0.3下创建build文件夹,将hadoop-core-1.0.3.jar复制进来。

    在D:hadoop-1.0.3uild目录下创建D:hadoop-1.0.3uildivylibHadoopcommon目录并将commons-cli-1.2.jar复制到该目录下。

    6、修改build.xml文件。目录:D:hadoop-1.0.3srccontribeclipse-plugin

    <target name=”jar” depends=”compile” unless=”skip.contrib”>

    <mkdir dir=”${build.dir}/lib”/>

    <copy file=”${hadoop.root}/build/hadoop-core-${version}.jar” tofile=”${build.dir}/lib/hadoop-core.jar” verbose=”true”/>

    <copy file=”${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar” todir=”${build.dir}/lib” verbose=”true”/>

    <copy file=”${hadoop.root}/build/commons-configuration-1.6.jar” todir=”${build.dir}/lib” verbose=”true”/>

    <copy file=”${hadoop.root}/build/commons-httpclient-3.0.1.jar” todir=”${build.dir}/lib” verbose=”true”/>

    <copy file=”${hadoop.root}/build/commons-lang-2.4.jar” todir=”${build.dir}/lib” verbose=”true”/>

    <copy file=”${hadoop.root}/build/jackson-core-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>

    <copy file=”${hadoop.root}/build/jackson-mapper-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>

    <jar

    jarfile=”${build.dir}/hadoop-${name}-${version}.jar”

    manifest=”${root}/META-INF/MANIFEST.MF”>

    <fileset dir=”${build.dir}” includes=”classes/ lib/”/>

    <fileset dir=”${root}” includes=”resources/ plugin.xml”/>

    </jar>

    </target>

    7、修改:MANIFEST.MF文件。目录:D:hadoop-1.0.3srccontribeclipse-pluginMETA-INF

    Bundle-ClassPath那一栏加入如下信息:

    Bundle-ClassPath: classes/,

    lib/hadoop-core.jar,

    lib/commons-cli-1.2.jar,

    lib/commons-configuration-1.6.jar,

    lib/commons-httpclient-3.0.1.jar,

    lib/commons-lang-2.4.jar,

    lib/commons-jackson-core-asl-1.8.8.jar,

    lib/commons-jackson-mapper-asl-1.8.8.jar

    8、在控制台切换到目录D:hadoop-1.0.3srccontribeclipse-plugin,使用Ant进行编译(编译过程中 需要联网,一些缺少的包会从网上下载)。最后生成的结果会在D:hadoop-1.0.3uildcontribeclipse-plugin 下面。

  • 相关阅读:
    php navigat备份
    IBM技术俱乐部主席竞选
    IBM技术俱乐部主席竞选
    IBM技术俱乐部主席竞选
    IBM技术俱乐部主席竞选
    分治策略实验报告补充示例 汉诺塔实现
    分治策略实验报告补充示例 汉诺塔实现
    分治策略实验报告补充示例 汉诺塔实现
    分治策略实验报告补充示例 汉诺塔实现
    数字三角形问题 NOJ 1226
  • 原文地址:https://www.cnblogs.com/wq920/p/3289011.html
Copyright © 2020-2023  润新知