• kafka学习(七)


                跨集群数据镜像

     

    跨集群镜像的使用场景

    1.区域集群和中心集群
    2.冗余,发生紧急情况下使用第二个集群,保存相同的数据。
    3.云迁移
     

    多集群架构

     
    跨集群中心通信的一些现实情况
    1.高延迟
    2.有限的宽带
    3.高成本
     
    hub和spoke架构
    这种架构适用于一个中心kafka集群对应多个本地kafka集群的情况。
     
    双活架构,集群交互过多
     
    主备架构 常见的故障转移
     
    延展集群
     

    kafka集群消息复制工具mirrorMaker

    kafka提供了一个简单的工具,用于在两个数据中心之间镜像数据。 mirrorMaker为每个消费者分配一个线程,消费者从源集群的主题和分区上读取数据,然后通过公共生产者将数据发送到目标集群上。
     
    如何配置
    mirrorMaker是高度可配置的。
    consumer.config 该参数用于指定消费者的配置文件。
    producer.config 该参数用于指定生产者的配置文件
    new.consumer
    num.starams 一个流就是一个消费者。
     
    whitelist 这是一个正则表达式,代表了需要进行镜像的主题名字。
     
    mirrorMaker 调优这个去看kafka官方对几个配置设置
     
    但是mirrorMaker 是kafka提供的 但是并不能满足一些要求。
     
    这里还有其他解决方案,如优步uRelicator ,confluent的Replicator
  • 相关阅读:
    我对JavaWeb中中文URL编码的简单总结
    URL的编码和解码
    Maven警告解决:Using platform encoding (UTF-8 actually)
    JavaWeb编码浅解
    pageContext对象的用法详述
    JspSmartUpload 简略使用
    Web开发相关笔记 #05# MySQL中文无法匹配
    Web开发相关笔记 #04# WebSocket
    Eloquent JavaScript #02# program_structure
    Eloquent JavaScript #01# values
  • 原文地址:https://www.cnblogs.com/Seeasunnyday/p/9241279.html
Copyright © 2020-2023  润新知