• windows下使用Eclipse编译执行MapReduce程序 Hadoop2.6.0/Ubuntu


    一、环境介绍

    宿主机:windows8

    虚拟机:Ubuntu14.04

    hadoop2.6伪分布:搭建教程http://blog.csdn.net/gamer_gyt/article/details/46793731

    Eclipse:eclipse-jee-luna-SR2-win32-x86_64

    二、准备阶段

    网上下载hadoop-eclipse-plugin-2.6.0.jar (点击下载)

    也能够自行编译(网上教程挺多的,能够自己百度 or Google)

    三、begin

    • 复制编译好的jar到eclipse插件文件夹(假设是从ubuntu自带的软件中心安装elcipse的话。则安装文件夹为:/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugin),进入eclipse文件夹,运行sudo chmod 777 * -R,重新启动eclipse           这一步特别重要网上好多资料都不是这样写的,所以配置一直不成功。
    • 配置 hadoop 安装文件夹

    window ->preference -> hadoop Map/Reduce -> Hadoop installation directory

    • 配置Map/Reduce 视图

    window ->Open Perspective -> other->Map/Reduce -> 点击“OK”

    windows → show view → other->Map/Reduce Locations-> 点击“OK”

    • 控制台会多出一个“Map/Reduce Locations”的Tab页

    在“Map/Reduce Locations” Tab页 点击图标<大象+>或者在空白的地方右键。选择“New Hadoop location…”,弹出对话框“New hadoop location…”。配置例如以下内容:将ha1改为自己的hadoop用户

    接着再切换到 Advanced parameters 选项面板,这边有具体的配置,切记须要与 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置文件)一致,如我配置了 hadoop.tmp.dir ,就要进行改动。

    网上差点儿全部的教程都是如此,的确按这个教程配置完毕后会在eclipse左上角出现DFS Locations。例如以下图


    但事实上还会碰见各种各样的问题,小编仅仅将本人遇到的和解决的方法呈现

    (1)注意:将虚拟机的hadoop下改动的配置文件(core-site.xml   hdfs-site.xml log4j.properties拷贝到程序的src文件夹下)

    (2)DFS下一些文件载入不出来,提示 permission denied错误

    解决的方法:给HDFS文件夹文件加入权限,hdfs dfs -chmod -R 777 /

    附:推荐一篇不错的文章http://www.aboutyun.com/thread-8780-1-1.html

    參考:www.tuicool.com/articles/BRBzquj

                www.cnblogs.com/aijianiula/p/4546021.html

    常见错误和解决的方法參考:http://blog.csdn.net/gamer_gyt/article/details/47252671

  • 相关阅读:
    php ReflectionObject类
    is_callable
    Zend Framework: Accessing Request, Response & Router Object from anywhere
    (转)zend异常处理
    call_user_func
    zend framework基础教程6—视图
    php func_get_arg
    zend framework基础教程3—创建index.php
    【算法02】3种方法求解斐波那契数列
    【算法01】寻找丑数
  • 原文地址:https://www.cnblogs.com/llguanli/p/6845036.html
Copyright © 2020-2023  润新知