• 在eclipse中使用hadoop插件


    我的配置环境看我的上篇博文。

    配置过程:

    (1)把插件放到eclipse/plugins目录下。(我的版本上一篇也有)

    3)重启eclipse,配置Hadoop installation directory

    如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径

    4)配置Map/Reduce Locations

    打开Windows—Open Perspective—Other,选择Map/Reduce,点击OK

    点击Map/Reduce Location选项卡,点击右边小象图标,打开Hadoop Location配置窗口:

    输入Location Name,任意名称即可.配置Map/Reduce MasterDFS MastrerHostPort配置成与core-site.xml的设置一致即可(9000)(貌似Map/Reduce Master 的端口设置任何数字都可以?)

    点击"Finish"按钮,关闭窗口。

    点击左侧的DFSLocations—>myhadoop(上一步配置的location name),如能看到user,表示安装成功

    5)新建WordCount项目

    File—>Project,选择Map/Reduce Project,输入项目名称比如:WordCount等。

    然后就可以开始写了。

    WordCount的代码网上有很多不再赘述。

    运行:

    HDFS上创建目录/test

    hadoop fs -mkdir /test

    拷贝本地hello.txtHDFS/test

    hadoop fs -copyFromLocal /usr/local/hadoop/input/hello.txt /test

    点击WordCount.java,右键,点击Run As—>Run Configurations->arguments,配置运行参数,即输入和输出文件夹

    hdfs://localhost:9000/test

    hdfs://localhost:9000/test/out

    点击Run按钮,运行程序。

    运行完成后,查看运行结果

    方法1

    hadoop fs -ls output

    可以看到有两个输出结果,_SUCCESSpart-r-00000

    执行hadoop fs -cat output/*

    方法2:

    展开DFS Locations,如下图所示,双击打开part-r00000查看结果

  • 相关阅读:
    Linux网络编程必看书籍推荐
    SpringMVC DispatcherServlet初始化过程
    freemarker写select组件(五)
    hdu 1009 FatMouse' Trade
    新IOS编程语言 Swift 新编译器Xcode6
    NoSQL数据库:数据的一致性
    POJ 3041 Asteroids
    POJ 3342 Party at Hali-Bula (树形dp 树的最大独立集 判多解 好题)
    __repr__与__str__
    HDU 4950 Monster(公式)
  • 原文地址:https://www.cnblogs.com/flyuz/p/9118002.html
Copyright © 2020-2023  润新知