• 宜信开源的Wormhole流处理平台,让大数据流式开发更轻量、更便捷、更可靠


    注:由于文章篇幅有限,获取资料可直接扫二维码,更有深受好评的大数据实战精英+架构师好课你。

    速点链接加入高手战队:http://www.dajiangtai.com/course/112.do

    Wormhole是什么

    Wormhole 面向大数据流式处理项目的开发管理运维人员,致力于提供统一抽象的概念体系,直观可视化的操作界面,简单流畅的配置管理流程,基于 SQL 即可完成的业务逻辑开发方式,并且屏蔽了流式处理的底层技术细节,极大的降低了数据项目管理运维门槛,使得大数据流式处理项目的开发管理运维变得更加轻量敏捷可控可靠。

    Wormhole由宜信开源,能够非常方便的与DBus整合,作为DBus的下游分发系统或者流处理系统来使用,以下是架构图

    为什么会有Wormhole

    在小公司,我们往往全部定制各种job来解决流处理或者批处理问题,例如全部自己写MR,Flink app,Spark app。随着公司规模的扩大,业务范围不断拓展,数据需求不断增加,有两个问题摆在我们面前:

    1)全部定制流处理、批处理程序成本太高且不便于管理

    2)很多流处理,批处理程序可以被抽象为标准的模板,通过改变参数来服用,可以节约大量开发资源,便于统一管控

    在整个大背景下,Wormhole产生了,他的产生和Hive产生为了解决写复杂MR的初衷是一致的,只不过它是更加上层的抽象。

    Wormhole主要特性

    支持可视化,配置化,SQL 化开发实施流式项目

    支持指令式动态流式处理的管理,运维,诊断和监控

    支持统一结构化 UMS 消息和自定义半结构化 JSON 消息

    支持处理增删改三态事件消息流

    支持单个物理流同时并行处理多个逻辑业务流

    支持流上 Lookup Anywhere,Pushdown Anywhere

    支持基于业务策略的事件时间戳流式处理

    支持 UDF 的注册管理和动态加载

    支持多目标数据系统的并发幂等入库

    支持多级基于增量消息的数据质量管理

    支持基于增量消息的流式处理和批量处理

    支持 Lambda 架构和 Kappa 架构

    支持与三方系统无缝集成,可作为三方系统的流控引擎

    支持私有云部署,安全权限管控和多租户资源管理

    由于文章篇幅有限,获取资料可直接扫二维码。

    大数据技术交流QQ群:207540827

  • 相关阅读:
    怎样改动、扩展并重写Magento代码
    解决Gradle minifyEnabled无法找到错误
    使用Hadoop的MapReduce与HDFS处理数据
    cmake 学习笔记(一)
    简单的日志系统
    WebStorm 7.0 注冊码
    DOS命令大全--具体解释
    SQL SERVER之数据查询
    闰年的定义
    Javascript作用域链
  • 原文地址:https://www.cnblogs.com/dajiangtai/p/12447352.html
Copyright © 2020-2023  润新知