• hadoop(二)


    三 Hive和Hbase

    #安装配置Hbase环境#
    主要参考https://my.oschina.net/zc741520/blog/388718
    网站配置的是集群,这里是伪分布,将网站中涉及多个主机的配置内容删除即可

    找到与hadoop版本大致对应的版本下载。若hbase/lib目录下的jar文件,与当前 hadoop 集群的版本号不一致,需要用 hadoop 目录下的 jar 替换。

    hbase/lib目录下还有slf4j-log4j12-*.jar,由于hadoop中已经有这个jar包,会有冲突,删除。

    配置伪分布式版本的Hbase
    配置conf/hbase-env.sh
    export JAVA_HOME=/path
    export HBASE_CLASSPATH=/path/hadoop-2.5.2/etc/hadoop
    export HBASE_MANAGES_ZK=true
    第一个参数指定了JDK路径;第二个参数指定了 hadoop 的配置文件路径;第三个参数设置使用 hbase 默认自带的 Zookeeper

    配置conf/hbase-site.xml
    <property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    </property>
    <property>
    <name>hbase.tmp.dir</name>
    <value>配置存储的文件夹/hbase-1.0.0/tmp</value>
    </property>

    在/etc/profile或者~/.bashrc中向path添加hbase的bin目录

    开启hbase
    start-hbase.sh
    hbase shell进入shell模式
    status
    exit退出shell模式
    stop-hbase.sh
    在hbasehome目录中有log文件

    #使用hbase shell#
    基本的建表、增删记录的功能

    create 创建表,设置表名、列族和其他的设置
    Create a table with namespace and table qualifier
    create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}
    create 't1', {NAME => 'f1'}, {NAME => 'f2'}
    create 't1', 'f1', 'f2', 'f3'

    put 添加记录
    可以任意添加列族中的列。值都是字符串。
    'students','001','column family:column',value;

    describe 显示信息
    scan 显示表中的内容

  • 相关阅读:
    AIoT 2020 年分析
    TensorFlow解析常量、变量和占位符
    TensorFlow编程结构
    对端边缘云网络计算模式:透明计算、移动边缘计算、雾计算和Cloudlet
    Harmony生命周期
    立体显示与BCN双稳态手性向列相
    显示技术示例
    SystemML大规模机器学习,优化算子融合方案的研究
    改天有空看看 1
    gradle 123123
  • 原文地址:https://www.cnblogs.com/ceo1207/p/6054514.html
Copyright © 2020-2023  润新知