• Linux下的Hadoop安装(本地模式)



    系统为CentOS 6.9,Hadoop版本2.8.3,虚拟机VMware Workstation
    主要介绍Linux虚拟机安装、环境配置和Hadoop本地模式的安装。伪分布式和Windows下的安装将另作补充。

    网络上关于Hadoop安装的教程非常多,这里主要是归纳出安装过程的简要步骤和可能碰到的问题。


    Linux环境安装


    NAT

    • 取消DHCP服务;
    • 设置子网网段,例如我自己用的是默认的192.168.126网段,之后各虚拟机IP就设为该网段;
    • 在NAT设置中修改DNS地址,指定为自己所处网络的DNS,网关地址默认为当前网段的.2地址。

    Linux

    在VMware上安装Linux并不困难,所以跳过虚拟机设置,直接列出安装过程中可能碰到的几个问题。

    • 我所安装的CentOS 6.9在安装开始时会出现media test界面。可能因为用的不是光盘,所以选择OK会出错;
      此处输入图片的描述

    • 期间会碰到两次关于存储空间,可以直接选择全部忽略和全部占用;
      此处输入图片的描述

    • 最后一步,Desktop
      此处输入图片的描述


    设置网络

    由于之前关闭了DHCP自动分配IP的功能,所以需要自己进行网络参数的设置。

    • 右键网络,修改IPV4设置,地址只要是126就行;
    • 修改完成后,点击网络的eth0,就能成功连接了,这时可以ping它一ping。

    此处输入图片的描述


    HOST

    • 修改hostname以便识别,打开/etc/sysconfig/network,添加hostname(要先加NETWORKING=yes);
    • 打开/etc/hosts,添加IP地址和新设置的hostname。

    其他环境设置

    由于是为了学习,其实可以直接把Linux的防火墙和selinux关掉。

    • 防火墙:chkconfig iptables off
    • selinux:/etc/sysconfig/selinux,disabled一下

    Java环境配置

    • CentOS一般自带OpenJDK,最好还是用Oracle的JDK,OpenJDK卸掉卸掉(这个或许我会多写一篇);

    • 安装:
      官网下载想要的版本(确认可与所用的Hadoop向配),然后选个目录解压(操作系统课自行学习)

    • 设置环境变量:
      很多教程会写到要添加classpath,但经我个人测试是不需要的,而且翻了Oracle的说明也没讲到Linux要配置这个。
      不过,有看到一些人说没添加会在一些情况下出错,所以。。等出错了就知道了。但windows下的确是不需要的。
      具体步骤为:修改配置文件/etc/profile,加上

    export JAVA _ HOME="JDK地址"
    export PATH=$JAVA_HOME/bin:$PATH
    

    然后执行source /etc/profile


    Hadoop本地模式安装

    下载hadoop无需任何设置,默认就为本地模式。

    • 下载所需版本的hadoop,解压;
    • 确认JAVA_HOME环境变量配置正确:echo;
    • 可以试着运行一个测试文件:
    #test.input
    hadoop mapreduce hive
    hbase spark storm
    sqoop hadoop hive
    spark hadoop
    

    然后输入

    bin中hadoop的目录 jar share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar wordcount 输入文件目录 输出文件名
    

    在job ID中看到local字样即为本地模式
    在输出文件中看到SUCCESS字样即为运行成功

    此处输入图片的描述


    以上只是本地模式的安装,因而相当简略,伪分布式、完全分布和HA安装要麻烦得多,许多细节会在之后再详细描述。

  • 相关阅读:
    poj 3468 A Simple Problem with Integers
    Autolayout约束动画化-Animating Autolayout Constraints
    HDU 1325 POJ 1308 Is It A Tree? (并查集)
    java小游戏代码
    《大话操作系统——做坚实的project实践派》(5)
    关于mysql存储过程创建动态表名及參数处理
    LeetCode Remove Duplicates from Sorted Array II
    centos 7安装 navicat
    Zxing二维码扫描
    Android adb shell学习心得(四)
  • 原文地址:https://www.cnblogs.com/S031602240/p/8965589.html
Copyright © 2020-2023  润新知