因为计算机配置过低,在虚拟机里几乎无法使用Eclipse,效率极低!
所以现在尝试使用Windows下Eclipse操作虚拟机中Hadoop,步骤如下:
开发环境:Hadoop2.7.1,Ubuntu Kylin 14.04
1.修改配置文件core-site.xml,将其中localhost改为虚拟机的ip地址:
在Ubuntu中,打开控制台,使用命令ifconfig查看虚拟机ip,如图:
修改【hadoop安装路径】/etc/hadoop下的core-site.xml文件,如图:
2.安装Hadoop-Eclipse-Plugin
(以下操作在Window系统中进行)
下载hadoop2x-eclipse-plugin:(下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin)
解压hadoop2x-eclipse-plugin,将其中的hadoop-eclipse-plugin-2.6.0.jar复制到Eclipse安装目录下的plugins文件夹中,启动Eclipse。
将hadoop安装包解压到windows系统中(下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/),这里我解压到D:hadoop
选择 Window 菜单下的 Preference,左侧找到Hadoop Map/Reduce,填写刚刚解压的Hadoop目录,如图:
3.配置Hadoop-Eclipse-Plugin
选择 Window 菜单下Show View——Other,找到Map/Reduce Localtions,点击Open,如图:
在Map/Reduce Locations面板中右击,选择New Hadoop location
配置如下:
4.启动hadoop,此时已经可以看到HDFS中的文件了:
遇到问题:
但现在修改HDFS上的内容时,会出现如下错误:
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x
解决办法:
修改hdfs-site.xml文件,添加以下内容:
1 <property> 2 <name>dfs.permissions</name> 3 <value>false</value> 4 <description> 5 If "true", enable permission checking in HDFS. 6 If "false", permission checking is turned off, 7 but all other behavior is unchanged. 8 Switching from one parameter value to the other does not change the mode, 9 owner or group of files or directories. 10 </description> 11 </property>
如图:
参考文章:
https://blog.csdn.net/hsl_1990_08_15/article/details/50704425