• HADOOP__PIG安装与配置


    PIG安装与配置

    前提

      已成功安装好Hadoop集群。

      详见:http://www.cnblogs.com/freeideas/archive/2013/04/16/3023287.html

      以下只在一个结点做,PIG可以直接调用整个集群。此处我选择了独立于其他节点的Server(CentOS)节点。

    安装要求:

      Server节点要求。

      ①已安装JDK。

      ②已有HADOOP目录,并且其中的maters,slaves文件已做好配置.

      (最好可以直接拷贝集群中一个节点的HADOOP目录)

      PIG安装是比较容易的,相对于其他项目而言。

    (一)下载解压PIG

      Pig下载路径,下载0.9.2(之前尝试了其他版本报错了:failed to create DataStorage尝试比较低的版本,

      详见:http://www.cnblogs.com/freeideas/archive/2013/04/22/3036690.html

    http://apache.dataguru.cn/pig/pig-0.9.2/pig-0.9.2.tar.gz

      将下载好的文件放到 /usr/hadoop/目录下并解压:

    tar -zxvf pig-0.9.2.tar.gz

    (二)配置PIG环境

      配置用户的环境变量:

    vi ~/.bash_profile

      添加如下内容:

    PATH=$PATH:/usr/hadoop/pig-0.9.2/bin:$HOME/bin
    HADOOP_HOME=/usr/hadoop

    export PATH
    export HADOOP_HOME

      为什么这么设置: 将PIG的bin目录添加到PATH中,可以直接在shell中敲入PIG命令进入程序,而非进入目录再执行。PIG在执行的时候会自动读取当前环境变量中的  HADOOP_HOME,从找到对应的HADOOP目录,也会读取JAVA_HOME来找到要使用的JAVA环境。
      注意:
      如果JDK没有在/etc/profile中export的话,请在此处做一次export(JAVA_HOME是PIG中必须的一个变量)。

    JAVA_HOME=/usr/jdk
    export JAVA_HOME

      做好配置之后:

    source ~/.bash_profile

      来执行这个文件,使刚配置好的环境变量生效

    (三)运行PIG

      在shell中:

    pig -x local

      进入本地模式

      之间键入:

    pig

      进入集群模式

  • 相关阅读:
    vmwear 及docker
    vue相关
    vue demo
    线程的死锁
    让出和守护线程
    join加入线程
    线程的优先级
    线程间的通信
    synchronized关键字的使用
    线程的并发
  • 原文地址:https://www.cnblogs.com/freeideas/p/3036668.html
Copyright © 2020-2023  润新知