• Linux环境安装Eclipse及配置hadoop插件


    摘要:第一次使用hadoop,另外eclipse也不太熟悉,所以把自己在安装过程中得琐碎记录下来。以备以后查看。

    硬软件环境:

          ▪ 虚拟机: VMware Workstation 11.0.0 build-2305329
          ▪ 虚拟机安装操作系统: CentOS 6.5
          ▪ JDK: 1.6.0_45
          ▪ Hadoop: 1.2.1

    1.下载Eclipse安装包

    从elipse官网下载https://www.eclipse.org/downloads/

    2.解压eclipse

    tar -zxvf eclipse-jee-indigo-SR2-linux-gtk-x86_64.tar.gz

    3.创建桌面快捷方式

    centos系统桌面,右击,创建快捷方式

      

       修改eclipse的内存配置,配置内存大小为512M,默认较小,会出现内存溢出错误。如下是修改后的eclipse.ini文件内容:

       

      点击桌面创建的快捷方式,启动eclipse

    4.在Eclipse下配置Hadoop插件

    复制hadoop-eclipse-plugin-1.2.1.jar到eclipse安装目录下的plugins目录中。重启eclipse.

    5.配置hadoop安装目录

    window ->preference -> hadoop Map/Reduce -> Hadoop安装目录
    注:在这里的Hadoop installation directory的目录为我们解压开来的Hadoop根目录

      

     由于rpm文件,包含包比较少,这里将hadoop-1.2.1.tar.gz放置到rpm同级目录并解压,这里的目录及为解压后的文件路径

    6.配置eclipse显示Map/Reduce视图

    window ->Open Perspective -> other->Map/Reduce -> 点击“OK”
    windows → show view → other->Map/Reduce Locations-> 点击“OK”

    7.编辑Map/Reduce Location

    在“Map/Reduce Locations” Tab页 点击图标<大象+>或者在空白的地方右键,选择“New Hadoop  location…”,弹出对话框“New hadoop location…”:

      

         

    Map/Reduce Master 部分相关定义:
    Host:上一节搭建的集群中JobTracker所在的机器的IP地址
    port:JobTracker的端口
    两个参数就是 mapred-site.xml中mapred.job.tracker的ip和端口
    DFS Master部分:
    Host:就是上一节集群搭建中Namenode所在机器IP
    Port:就是namenode的端口
    这两个参数是在 core-site.xml里fs.default.name里面的ip和端口
    User Name:
    就是搭建Hadoop集群是所用的用户名,我这里用的是hadoop

    填写完以上信息以后,关闭Eclipse,然后重新启动。为什么这么做呢?因为如果不重新启动,Advanced Parameters里,有些重
    要的选项不能显示,重启后,来配制Advanced Parameters信息:

    dfs.replication:
    这个这里默认是3,但是要根据你的Datanode的个数来定,如果你仅有2个datanode,那么就写2,如果只有一个,就写1,大于或
    者等于3个,写3
    hadoop.tmp.dir:
    这个要跟上节建立的Hadoop集群配置中core-site.xml 中的hadoop.tmp.dir设置一样,上节填写的是/tmp/hadoop-root,这里也
    如是填写
    点击保存,重新启动Eclipse

    打开Project Explorer,可以看到HDFS文件系统:

    mytest即为通过  hadoop fs -mkdir mytest  命令在HDFS创建的文件夹。

  • 相关阅读:
    http协议及http协议和tcp协议的区别
    Fastcgi协议定义解释与说明
    web请求响应
    Linux网络编程:一个简单的正向代理服务器的实现
    Nginx-请求处理与响应
    Nginx事件管理机制-epoll
    负载均衡
    Nginx-进程模型
    [转载]NGINX原理分析 之 SLAB分配机制
    Nginx惊群处理
  • 原文地址:https://www.cnblogs.com/wonglu/p/5640333.html
Copyright © 2020-2023  润新知