• Hadoop2.7.3源码编译


    一、编译源码步骤演示详解

    需求:官网下载的hadoop包,执行hadoop命令时,会有警告信息,为去除此警告,需要重新编译hadoop相应版本的源码,替换hadoop安装包lib目录下的native(警告如下图所示)

    . 编译hadoop环境要求

    1、必须在linux系统下编译(以centos6.4为例)

    2、编译使用的JDK版本必须是1.6以上

    3、编译需要使用Maven版本3.0以上(因为源码是由Maven管理的)

    4、安装Findbugs插件工具,版本1.3.9

    5、安装CMake编译工具,版本2.6或最新版本

    6、安装zlib devel

    7、安装openssl devel

    8、编译时必须连接互联网

    ===================================  编译开始   ===================================

    第一步:解压hadoop源码安装包:版本以hadoop-2.7.3-src.tar.gz为例,解压之前需在此链接中下载2.7.3版本的源码包(https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/)

     

     第二步:配置JDK, 并使profile文件生效,版本:1.8  (必须得有root权限)

     

     

     

     第三步:配置Maven,并使profile文件生效, (必须得有root权限)

     第四步:安装gcc/gcc-c++/make工具,(必须得有root权限)

     

     第五步:解压安装protobuf工具,此包提供下载链接:http://pan.baidu.com/s/1kUK5HHH

     第六步:配置protobuf环境变量

     第七步:下载安装CMake、openssl-devel、ncurses-devel依赖包

     第八步:开始编译hadoop源码包,先移动到hadoop源码安装目录下

     

    编译成功!整个过程大约需要等待20~30分钟,如下图

      第九步:替换原来的native目录,执行命令查看下,不再提示警告,编译好的文件在源码安装包的hadoop-dist目录下,具体目录替换目录如下图所示:

    ===================================  编译结束   ===================================

     

  • 相关阅读:
    WinForm中快捷键与组合按键的设置方法
    WinForm窗体间传值的方法
    System.Data.SqlClient 命名空间
    登录
    查找和替换
    进制转换
    对话框
    Object基类
    抽象类与抽象方法
    千位数减百位数不退位 区间代换
  • 原文地址:https://www.cnblogs.com/dinghong-jo/p/7810211.html
Copyright © 2020-2023  润新知