• Hadoop on Mac with IntelliJ IDEA 4 制作jar包


    本文讲述使用IntelliJ IDEA打包Project的过程,即,打jar包。

    环境:Mac OS X 10.9.5, IntelliJ IDEA 13.1.4, Hadoop 1.2.1

    Hadoop放在虚拟机中,宿主机通过SSH连接,IDE和数据文件在宿主机。IDEA自身运行于JDK 1.8,IDEA工程及Hadoop使用JDK 1.6。

    在本系列博文的第一篇,我因不会使用IDEA打jar包,不得不直接调试代码,遇到输入路径不存在问题。今天,我打了几次jar包,结果不都满意,默认情况,IDEA把依赖的库全打包,导出的包太大,虽然可用,但是我强迫症发作,想搞个最小体积的jar包,因为服务器上已有hadoop运行需要的库文件,按理我只需打包自己的类即可。

    参考VIC的博客,总算得到了仅包含自己工程的jar包了。

    第一步,command + ;或File->Project Structure...打开Project Structure。

    第二步,点击Artifacts,再点击Add。

    第三步,在弹出菜单中选择Jar -> Empty,因为打最小体积jar包,如下图所示。

    第四步,填好jar包名和输出路径,如下图所示。

    第五步,在Output Layout中添加输出到jar包的模块,如下图所示。

    这里,如果需要添加额外的库文件,在Mac OS X下建议使用绝对路径,像~/Desktop这种最好写成/Users/用户名/Desktop,否则在找classpath时可能找不到。

    第六步,在弹出窗口中指定模块,如下图所示。

    确定后,如果模块只包含一个main函数,则自动指定。否则,需要手工指定。

    第七步[可选]手工指定main函数。

    一切就绪,如下图所示。

    第八步,打包。

    Build->Build Artifacts

    在弹出菜单中,选择Build或Rebuild。

    最后,因为指定了主类,则hadoop执行脚本应该忽略主类参数,即

      hadoop jar [jar包] [input路径] [output路径]

    如果按执行样例jar的写法hadoop jar hadoop-example-1.2.1.jar wordcount input ouput,则wordcount会被当成是输入参数,如下图所求。

    基础决定高度 Du bist immer noch in meiner Welt Silva
  • 相关阅读:
    svn版本控制器在vs2013中的使用
    在本地环境用虚拟机win2008 sever搭建VS2013 + SVN 代码版本控制环境
    luogu 2422 良好的感觉
    loj 10181 绿色通道
    luogu 2569 [SCOI2010]股票交易
    luogu 3946 ことりのおやつ(小鸟的点心)
    luogu 2865 [USACO06NOV]路障Roadblocks
    luogu 4554 小明的游戏
    luogu 2411 白银莲花池 && luogu 1606 Lilypad Pond
    luogu 2850 [USACO06DEC]虫洞Wormholes
  • 原文地址:https://www.cnblogs.com/michaellfx/p/4001148.html
Copyright © 2020-2023  润新知