• ES+Hbase对接方案概述


    方案背景

    Hbase的索引方案有很多,越来越多的人开始选择ES+Hbase的方案,其实该方案并没有想象中那么完美,ES并发低,同时查询速度相对Hbase也慢很多,那为什么会选择他呢,它的写入比较快,如果一个宽表需要建20个索引,在数据导入时,hbase每秒导入20W,那么ES压力就是每秒400W,solr和hindex都不能解决该问题。

    所以对并发高的业务场景,还是使用华为HIndex这种方案,也可以混合使用

    方案描述

    ES+Hbase对接大致有两种方式,需要根据当前的业务场景做相应的选择,

    方案1:

    如果是对写入数据性能要求高的业务场景,那么一份数据先写到Hbase,然后再写到ES中,两个写入流程独立,这样可以达到性能最大,目前某公安厅使用该方案,每天需要写入数据200亿,6T数据,每个记录建20左右的索引。

    缺点:可能存在数据的不一致性。

    方案2:

    这也是目前网上比较流行的方案,使用hbase的协处理监听数据在Hbase中的变动,实时的更新ES中的索引,

    缺点是协处理器会影响Hbase的性能

    转载于:https://www.cnblogs.com/gaoxing/p/5267512.html

  • 相关阅读:
    Android 传感器应用
    WebStrom9 体验nodejs
    Web前端框架 小记
    接入淘宝API(PHP版本)
    Android SDK 国内镜像
    Ubuntu14.04 搭建 node.js 环境(Binaries方式)
    C# 异常类型及对应异常类
    .net中序列化读写xml方法的总结
    ASp.NET Core Centos7运行环境搭建
    Linux Centos 常用命令
  • 原文地址:https://www.cnblogs.com/it-deepinmind/p/14421655.html
Copyright © 2020-2023  润新知