• 【云计算】Hadoop 0.20.1 + Hive 0.4.1 + Fedora 12 终极配置


    1. JDK配置

    1       从Sun的网站下载JDK,注意有两个linux下的安装包。一个是rpm,一个是普通的bin,二者均可。

    2       进入下载的目录,安装jdk。(不会的就google)。

    3       等待其安装结束,不必配置其他信息。在Fedora 12中djk的环境变量均已自动配置。

    注意:请先卸载系统自带的openJDK,保险一些。可从安装包管理器中卸载。

    2. Hadoop配置

    2.1 虚拟机配置

        一台NameNode,两台DataNode。

    2.2 配置总体过程

        以下记录配置过程以及要点。

    2.2.1 主要配置内容

        配置可分为两类:系统配置和Hadoop配置,主要内容包括主机配置、SSH和Hadoop三部分内容。

    2.2.1.1 系统配置

        系统配置包括主机名、hosts、防火墙、SSH的配置。

    2.2.1.1.1 主机名(各个机器均需配置)

    l  修改主机名,避免后续SSH生成的密钥中含有localhost而造成的密钥混乱

    l  配置过程

    n  以root身份登录系统

    n  vi /etc/sysconfig/network

    n  修改HOSTNAME的值,随意取。

    n  保存并重启系统

    2.2.1.1.2 Hosts文件(各个机器均需配置)

    因为Hadoop通过SSH进行主机间的认证和通信,所以需要添加Hadoop中各类型节点的ip地址和机器名。

    l  配置过程

    n  以root身份登录系统

    n  vi /etc/hosts

    n  添加所需节点的ip地址和机器名

    n  保存并退出

    n  ping各个机器名,测试是否成功。

    2.2.1.1.3 防火墙配置(各个机器均需配置)

    Datanode在连接Namenode时,可能会被防火墙阻拦,故关闭Namenode的防火墙:

    l  以root身份登录

    l  关闭防火墙

    service iptables stop

    service ip6tables stop

    2.2.1.1.4 SSH配置(各个机器均需配置)

    因为Hadoop通过SSH进行主机间的认证和通信,需要配置各个机器的SSH,包括生成和发布密钥。需要注意的是:

    (1)        SSH密钥和机器名相关,故只要机器名发生变化,均需要重新生成密钥

    (2)        密钥的所有者需要是当前登录用户。如果不是,需要修改authorized_keys的权限

    l  生成密钥

    n  ssh-keygen –t <rsa/dsa>(可选择rsa或dsa加密方式)

    n  根据屏幕提示进行操作。(均留空即可)

    n  如果.ssh目录下不存在authorized_keys文件,只需:

    cp .ssh/id_rsa.pub .ssh/authorized_keys

    n  如果已存在authorized_keys文件,将新生成的公钥附加到authorized_keys文件中:

    cat  .ssh/id_rsa.pub >> .ssh/authorized_keys

    l  发布密钥

    将.ssh/authorized_keys拷贝到所需的机器上:

    scp .ssh/authorized_keys username@machinename:/your/dictionary

    l  以root身份登录机器

    l  启动/重启sshd服务

    启动:service sshd start

    重启:service sshd restart

    停止:service sshd stop

    2.2.1.2 Hadoop配置、

    Hadoop配置包括以下内容:Hadoop环境配置和运行期配置。

    2.2.1.2.1 Hadoop环境配置

    环境配置包括配置master、slaves、core-site.xml和hadoop-env.sh文件的配置。

    2.2.1.2.1.1 master

    master文件指明了namenode节点的机器名,故只需将namenode节点的机器名添加到此文件中。

    2.2.1.2.1.2 slaves

    Slaves文件指明了包括了datanode节点在内的其他节点的机器名,故只需将这类节点的机器名添加到次文件中。

    2.2.1.2.1.3 core-site.xml

    主要的配置,需要指明hdfs文件系统以及jobtracker等节点的机器名和端口号。

    2.2.1.2.1.4 hadoop-env.sh

    至少配置JAVA_HOME,建议书写绝对路径代替环境变量的写法。

    2.2.1.2.2 运行期配置

    运行期配置包括:文件系统格式化和各个节点的启动。

    2.2.1.2.2.1 文件系统格式化

    在修改Hadoop配置文件后,建议重新格式化Hadoop文件系统:

    bin/hadoop namenode –format

    2.2.1.2.2.1 启动Hadoop

    l  启动: ./bin/start-all.sh

    l  日志在logs目录下。

    3. Hive配置

    基本不用什么配置,下载 -》 解压,配置环境变量:

    Export HIVE_HOME=/your/hive/install/path

    1       启动Hive。

    Hadoop启动成功后,继续执行$HIVE_HOME/bin/hive,即可。

    2       使用Hive hwi的web界面

    执行$HIVE_HOME/bin/hive –service hwi,即可。

    在浏览器中访问该地址:http://your_hive_server_ip:9999/hwi

  • 相关阅读:
    Android 2.2 r1 API 中文文档系列(11) —— RadioButton
    Android API 中文 (15) —— GridView
    Android 中文 API (16) —— AnalogClock
    Android2.2 API 中文文档系列(7) —— ImageButton
    Android2.2 API 中文文档系列(6) —— ImageView
    Android 2.2 r1 API 中文文档系列(12) —— Button
    Android2.2 API 中文文档系列(8) —— QuickContactBadge
    [Android1.5]TextView跑马灯效果
    [Android1.5]ActivityManager: [1] Killed am start n
    Android API 中文(14) —— ViewStub
  • 原文地址:https://www.cnblogs.com/itgg168/p/2792423.html
Copyright © 2020-2023  润新知