• Hadoop-MyEclipse安装配置


    配置环境:Hadoop-1.2.1,MyEclipse,Centos6.5

    网站上有很多关于Hadoop-eclipse的安装配置信息,但很少有讲到关于怎么在MyEclipse上配置Hadoop的相关操作。由于我的电脑只装了MyEclipse,所以我在这里将如何用MyEclipse安装Hadoop-eclipse插件记录下来。其实跟在eclipse上配置是大同小异的。

    步骤:

    1)将Hadoop-eclipse-Plugin-1.2.1.jar放到MyEclipse安装目录的dropins文件夹下,重新启动MyEclipse。会发现在Project Explorer下出现DFS Locations.表明MyEclipse已经识别Hadoop-eclipse-Plugin-1.2.1.jar插件。

    注意:Hadoop-eclipse-Plugin-1.2.1.jar这个jar包在Hadoop-1.2.1的contrib目录下是找不到的,需要自己在网上下载,或者自己配置也行。

    2)打开window-->Preferens,发现Hadoop Map/Reduce选项,说明插件安装成功,配置Hadoop installation directory为本地Hadoop安装解压的目录。(注意:前提是要在window下下载Hadoop-1.2.1,并解压)

    3)选择window-->show view-->others,选择有大象图标的Map/Reduce,打开Map/Reduce的开发环境,下方多了一个Map/Reduce Location的框。

    图中出现的大象linux是我已经配好了的。

    4)选择Map/reduce Location标签,点击标签最右边的大象图标,即齿轮图标右侧的大象图标,打开参数设置页面。

    注意:用红色框标注的参数设置一定要正确,首先,Location name设置为linux的主机名,可以用hostname查看。Host为linux主机用户名。左边的PortMapReduce的端口号,之前在linux下配置Hadoop的xml文件已经配过了,按照配置的端口号配置就可以了。右边的为hdfs的端口号。配置完后点finish。

    5)接着点击Advanced parameters,从中找到hadoop.tmp.dir,修改为Hadoop集群core-site.xml中配置的值。

    6)接着在Advanced parameters中配置dfs.permssions,修改为false,与Hadoop集群【hdfs-site.xml】中配置的一致;将dfs.replication的值改为1.

    其实,这些配置信息的设置都可以参考http://linux.chaofn.org:50030/jobhistoryhome.jsp中红色框中的内容进行配置

    7)配置完成后,若在Project Explorer中出现如下信息,这表明配置成功

  • 相关阅读:
    Java线程--LockSupport使用
    Java线程--Callable使用
    Java线程--BlockingQueue使用
    Java线程--CopyOnWrite容器使用
    Java线程--ReentrantLock使用
    Java线程--Atomic原子类使用
    Java线程--ThreadPoolExecutor使用
    Java线程--ForkJoinPool使用
    自己动手搭建SSM
    为什么选择SSM+Redis框架开发模式?
  • 原文地址:https://www.cnblogs.com/chaofn/p/4580554.html
Copyright © 2020-2023  润新知