Hadoop框架基础（二）

** Hadoop框架基础（二）

上一节我们讨论了如何对hadoop进行基础配置已经运行一个简单的实例，接下来我们尝试使用eclipse开发。

** maven安装

简单介绍：maven是一个项目管理工具，主要用于项目构建，依赖管理，项目信息管理。

1、maven下载地址

链接：http://pan.baidu.com/s/1c2AD9cc 密码：1pvo

2、普通用户权限下解压maven到modules目录，如图：

 

 

3、配置maven环境变量

切换到root用户下，使用命令：# vi /etc/profile，添加如图内容：

 

 

保存退出后，使用source /etc/profile命令使之生效

4、创建maven依赖包位置

使用命令：

$ mkdir /home/z/.m2/

解释：maven的默认依赖包会在该目录下，手动创建一个，一会便于把已经下载好的离线包放进去

离线包下载地址：

链接：http://pan.baidu.com/s/1kUXjEYz 密码：typ7

将该包上传到虚拟机系统后，使用命令：

$ tar -zxf /opt/softwares/repository.tar.gz -C /home/z/.m2，解压后如图：

 

 

** eclipse 安装

简单介绍：微笑：）

1、eclipse下载地址

链接：http://pan.baidu.com/s/1kVBLgKR 密码：0ypf

2、普通用户权限下解压eclipse到modules目录，如图：

 

 

3、打开eclipse

注意，此时打开eclipse必须在虚拟机系统中的终端打开（或手动双击图标打开），不可使使用SecureCRT打开。

打开方式：进入到eclipse的安装目录，使用命令：

./eclipse，如图：

 

 

回车后，即可打开，工作空间你随便选个位置即可。我这边默认使用：

/home/z/workspace该位置作为我默认的工作空间。

4、eclipse简单配置

eclipse界面中依次点击--Window--Preferences，如图：

 

 

指定maven路径，通过点击add按钮，选择你的maven安装目录，如图：

 

eclipse的其他设置，如字体大小，行号等等，不在本节讲解，请自行查阅

** 使用eclipse创建maven项目

进行如图操作：

 

 

下一步

 

 

下一步

 

 

完成如图

 

 

修改pom.xml配置

1、修改junit的版本号，从3.8.1改为4.10

2、添加hadoop依赖

修改后如图：

 

 

创建src/main/resource目录

解释：

1、用于存放core-site.xml、hbase-site.xml等，以便于开发，创建后如图：

（因为开发时有时需要读取这些xml文件的配置）

 

 

 

 

2、拷贝core-site.xml到该目录下，使用命令：

$ cp /opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml /home/z/workspace/hdfs/src/main/resource/

之后在eclipse中刷新该目录，如图：

 

 

 

 

3、创建一个PutHdfs类

编写如下代码，便可以通过控制台展示出上一节的words.txt文档中的内容，后面会稍微解释代码内容

 

 

 

 

解释：

1、Configuration是一个配置对象，可以用来动态设置类似core-site.xml中的属性，通过查看源码，看到它默认加载的配置文件为：

 

 

2、FileSystem是一个文件系统管理对象，它可以用来操作hdfs文件系统中的文件，比如删除hdfs中的某个文件，读取，写入，等等。

3、剩下的内容只要有点Java基础，基本都能够看懂了，方法中都有对应的注释，读者可以点进去查看理解。

尖叫提示：

相关API文档：http://hadoop.apache.org/docs/r2.5.2/api/index.html

** 总结

这一节主要讲解如何通过eclipse来运行一个简单的操作文件系统中文件的demo，请熟练其配置方式。

---

个人微博：http://weibo.com/seal13

QQ大数据技术交流群（广告勿入）：476966007

作者：Z尽际
链接：https://www.jianshu.com/p/5265216ef648
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。