本人使用的软件版本如下:
Hadoop的版本为hadoop-1.0.1
Eclipse的版本为Indigo
本人的hadoop集群由3台centos 6 64位的机器组成
其中一台Master,两台为Slave
安装eclipse开发环境的步骤如下:
- 下载hadoop-eclipse-plugin-1.0.0.jar 插件下载地址
- 把插件放到eclipse的plugin目录
- 打开eclipse可以看到增加了一个map/reduce的视图,打开那个视图
- 在下面的Map/Reduce Locations的地方增加一个Location
- 注意在编辑连接信息的时候需要注意以下几个事项
- 端口必须和hadoop设置的端口一致
- tmp地址设置为你的hadoop数据存储地址的根目录,其他的目录就跟着变了,具体可以参考
- 注意上面的参考中有些东西跟最新的插件有出入
-
运行程序的时候如果出现问题,如下
Permission denied: user=Administrator, access=WRITE, inode="root":root:supergroup:rwxr-xr-x
此类错误说明本地用户administrator(本机windows用户)想要远程操作hadoop系统,没有权限引起的。解决方法给相应没权限的目录设置下777权限。如给root目录设置权限
./hadoop fs -chmod 777 /user/root
/user/root为你的hadoop配置参数hadoop.tmp.dir配置的地址