• 如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop(伪分布式)


      因为计算机配置过低,在虚拟机里几乎无法使用Eclipse,效率极低!

      所以现在尝试使用Windows下Eclipse操作虚拟机中Hadoop,步骤如下:

      开发环境:Hadoop2.7.1,Ubuntu Kylin 14.04

      1.修改配置文件core-site.xml,将其中localhost改为虚拟机的ip地址:

      在Ubuntu中,打开控制台,使用命令ifconfig查看虚拟机ip,如图:

      

      修改【hadoop安装路径】/etc/hadoop下的core-site.xml文件,如图:

      

      2.安装Hadoop-Eclipse-Plugin

      (以下操作在Window系统中进行)

      下载hadoop2x-eclipse-plugin:(下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin)

      解压hadoop2x-eclipse-plugin,将其中的hadoop-eclipse-plugin-2.6.0.jar复制到Eclipse安装目录下的plugins文件夹中,启动Eclipse。

      将hadoop安装包解压到windows系统中(下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/),这里我解压到D:hadoop

      选择 Window 菜单下的 Preference,左侧找到Hadoop Map/Reduce,填写刚刚解压的Hadoop目录,如图:

      

      3.配置Hadoop-Eclipse-Plugin

      选择 Window 菜单下Show View——Other,找到Map/Reduce Localtions,点击Open,如图:

      

      在Map/Reduce Locations面板中右击,选择New Hadoop location

      

      配置如下:

      

      4.启动hadoop,此时已经可以看到HDFS中的文件了:

      

      遇到问题:

      但现在修改HDFS上的内容时,会出现如下错误:

      org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

      解决办法:

      修改hdfs-site.xml文件,添加以下内容:

     1 <property>
     2     <name>dfs.permissions</name>
     3     <value>false</value>
     4     <description>
     5     If "true", enable permission checking in HDFS.
     6     If "false", permission checking is turned off,
     7     but all other behavior is unchanged.
     8     Switching from one parameter value to the other does not change the mode,
     9     owner or group of files or directories.
    10     </description>
    11 </property>

      如图:

      

    参考文章:

    https://blog.csdn.net/hsl_1990_08_15/article/details/50704425

    https://blog.csdn.net/hfut_jf/article/details/48739585

    http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html

  • 相关阅读:
    停滞的代码
    民兵葛二蛋大结局
    该开始BS了
    今天写出了第一个.NetBS应用
    读源码,仿照
    MVN,老天怎么回事?
    从哪里入手
    学习Java了
    工厂方法模式与简单工厂
    转:悟透JavaScript
  • 原文地址:https://www.cnblogs.com/lzq666/p/9955718.html
Copyright © 2020-2023  润新知