• 基于Hbase数据的Mapreduce程序环境开发


    一、实验目标

      编写Mapreduce程序,以Hbase表数据为Map输入源,计算结果输出到HDFS或者Hbase表中。

    在非CDH5的Hadoop集群环境中,将编写好的Mapreduce程序整个工程打成Jar包提交到Hadoop集群中运行。 本文记录实验过程中的遇到的问题及解决思路。

      简单描述集群环境:Hadoop2.6, Hbase0.98 。

      1、因Mapreduce程序中使用到了Hbase的Java API ,那么必须把Hbase的相应的lib包,复制到Hadoop集群环境中的每个节点的Hadoop目录。网上的资料大部分说将hbase-0.98.jar 复制到hadoop/lib目录。hadoop2.6版本中的jar包都在share目录中,包含hdfs,common,yarn等子目录。实验环境中的Hbase0.98为官方下载的:hbase-0.98.10-hadoop2-bin.tar.gz。解压该文件后,我将lib目录中,以hbase开头,及high-scale-lib-1.1.1.jar、htrace-core-2.04.jar复制到了hadoop2.6中share/common目录中。hadoop2.6/share/common/   hadoop2.6/share/common/lib等目录中的jar包,在集群启动的时候已经添加到了classpath中。

        

          2、 RMProxy: Connecting to ResourceManager Already tried 1 time(s); 

          出现该错误:检查防火墙是否关闭 or 集群中的Yarn服务是否启动。

  • 相关阅读:
    服务器监控利器
    退出率与跳出率
    PHP替换中文字符
    编码问题导致样式显示在IE中不正常
    ADO.NET
    生成n*n蛇形矩阵的算法
    数组地址问题
    数组的首地址,数组名取地址,地址的强制转换为int
    教程:VS2010 之TFS入门指南
    10进制与17进制的转化(代码已测试)
  • 原文地址:https://www.cnblogs.com/tmeily/p/4502387.html
Copyright © 2020-2023  润新知