• Linux下搭建hadoop开发环境-超详细


    先决条件:开发机器需要联网

                             已安装java

                              已安装Desktop组

    1、上传安装软件到linux上:

    wps122A.tmp

    2、安装maven,用于管理项目依赖包:以hadoop用户安装apache-maven-3.0.5-bin.zip。

    --解压安装文件到相应目录下:

    [root@db07 opt]# chown -R hadoop:hadoop /opt/*

    [hadoop@db07 opt]# mkdir bd_dev

    [hadoop@db07 opt]# cd software/

    [hadoop@db07 software]# unzip apache-maven-3.0.5-bin.zip

    [hadoop@db07 software]# mv apache-maven-3.0.5 /opt/bd_dev/maven-3.0.5

    [hadoop@db07 software]# cd /opt/bd_dev/maven-3.0.5/

    --配置环境变量(sudo权限执行以下脚本):

    echo "export MAVEN_HOME=/opt/bd_dev/maven-3.0.5"  >> /etc/profile

    echo "export PATH=$MAVEN_HOME/bin:$PATH"  >> /etc/profile

    source /etc/profile

    检查配置情况:

    mvn -version

    配置maven仓库:

    [hadoop@db07 ~]$ mkdir ~/.m2/

    [hadoop@db07 software]$ tar -zxf repository.tar.gz -C ~/.m2/

    [hadoop@db07 .m2]$ cp /opt/bd_dev/maven-3.0.5/conf/settings.xml .

    [hadoop@db07 .m2]$ ll

    total 16

    drwxrwxr-x 56 hadoop hadoop  4096 Jun 24  2015 repository

    -rw-r--r--  1 hadoop hadoop 10224 Apr 19 13:35 settings.xml

    3、安装eclipse:hadoop用户安装

    [hadoop@db07 software]$ tar -zxf eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz -C /opt/bd_dev/

    [hadoop@db07 software]$ cd /opt/bd_dev/eclipse/

    [hadoop@db07 eclipse]$ ./eclipse                 --启动eclipse,然后图形界面配置eclipse

    1)启动后在下图界面配置workspace工作目录,我把它放在/opt/bd_dev/workspace目录下,因为测试环境要部署应用比较多,所以我放置在同一目录下,方便管理。

    wps123A.tmp

    2)启动后界面如下图所示:

    wps123B.tmp

    3)因为eclipse启动要加载很多插件,所以部署后首先去掉无用插件:

    点击Window->preferences,打开下图界面,并且在搜索栏输入start,选择startup and shutdown筛选出启动配置项,按图上指示操作后点击ok应用配置。

    wps123C.tmp

    4、配置eclipse快捷键(Context Assist、Word Completion):在Window->preferences界面下。

    wps123D.tmp

    wps123E.tmp

    5、配置eclipse与maven集成插件:指定maven目录为我们自己安装的目录。

    wps124F.tmp

    6、至此CentOS 6.5上hadoop开发环境搭建完成了,下一步就要创建工程,如下图所示:

    wps1250.tmp

    默认,next:

    wps1251.tmp

    默认,next:

    wps1252.tmp

    配置group id、artifact id、version三要素,然后finash完成工程创建:

    wps1253.tmp

    7、创建开发配置文件目录(sources folder):

    wps1254.tmp

    选择文件位置及配置文件名称,finash完成source floder创建:

    wps1255.tmp

    以下内容配置sreources目录编译目标目录:

    wps1256.tmp

    选择source->hadoop.hdfs/src/main/resources->output folder:hadoop.hdfs/target/classes,点击edit选择目标目录target/classes,点击ok完成工程创建。

    wps1257.tmp

  • 相关阅读:
    访问oss压缩文件失败
    uniapp项目再使用vue-cli启动压缩失败
    航天丰益面试题
    axios上传图片遇见问题
    formateDate
    mongoose中Documents的save方法
    腾讯云nginx配置https
    filter逻辑bug
    vue-infinite-loading 过滤器tab正确使用
    使用pem连接服务器
  • 原文地址:https://www.cnblogs.com/wcwen1990/p/6733631.html
Copyright © 2020-2023  润新知