• PIG__Failed to create DataStorage解决方案


    Failed to create DataStorage解决方案

    背景:

      在安装PIG执行pig,想要调用Hadoop集群进行pig的命令行时报错,

    Failed to create DataStorage

    相关原因:

      我的HADOOP版本是0.20.2

      查看pig 的bin/目录下的pig程序,查看pig脚本执行的过程,这个是备注的部分:

    # Environment Variables
    #
    #     JAVA_HOME                The java implementation to use.    Overrides JAVA_HOME.
    #
    #     PIG_CLASSPATH Extra Java CLASSPATH entries.
    #
    #     HADOOP_HOME/HADOOP_PREFIX     Environment HADOOP_HOME/HADOOP_PREFIX(0.20.205)
    #
    #     HADOOP_CONF_DIR     Hadoop conf dir
    #
    #     PIG_HEAPSIZE    The maximum amount of heap to use, in MB.
    #                                        Default is 1000.
    #
    #     PIG_OPTS            Extra Java runtime options.、

      在注释中有这么一句。

    HADOOP_HOME/HADOOP_PREFIX Environment HADOOP_HOME/HADOOP_PREFIX(0.20.205)

      注:这个可能是0.20.2中的特别之处。

      修改了其他教程中的.bash_profile配置为,以下(其中JAVA在/etc/profile中export了)

    PATH=$PATH:/usr/hadoop/pig-0.9.2/bin:$HOME/bin
    HADOOP_HOME=/usr/hadoop

    export PATH
    export HADOOP_HOME

      然后就可以执行了,问题解决。

    备注:

      这个也是误打误撞解决了这个错误,才开始怀疑的是版本的问题,还对HADOOP进行了格式化,实际上可能不是,检查了PIG程序,看见备注中是要export这个变量,检 查PIG程序,也没有能找到特别能说明问题的,好在问题解决了。

      以上,如果不能解决你的问题的话,请短消息我。

  • 相关阅读:
    Flash代码执行原理与性能优化笔记
    服务器自建git
    列表删除
    mysql的隔离级别实践
    py2和py3的字符编码
    Django外键(ForeignKey)操作以及related_name的作用
    python多个装饰器嵌套
    git diff使用
    .gitignore 只包含几个文件
    三层菜单字典练习
  • 原文地址:https://www.cnblogs.com/freeideas/p/3036690.html
Copyright © 2020-2023  润新知