• 使用kafka需要注意的问题


    多分区对应一个消费组的多个pod时

    1.消息发送会根据多个分区自动分配一个分组内的多个pod

      -如果用单分区,则不用考虑多台机器同时消费的问题,能大大简化,但性能不高。

    2.多pod同时消费,要考虑数据一致性问题,每个消息最好放入一个业务含义唯一的key

    3.消费过程,重复-丢失,这两者是二选一的关系,这个一定要想明白。

    4.一般选择可重复,不可丢失,利用唯一key,来防止重复消费时,产生的问题。

    5.超时问题——为防止超时消费,自动commit无法触发,导致offset重置,一定要严格控制消费时间,或者放入其他线程,不阻塞。

    6.手动commit模式:需要手动处理 数据丢失,数据重复

    服务宕机后,消息堆积,疯狂消费导致再次崩溃

    在充当消费者的服务出现问题宕机时,过段时间重启,会去消费之前大量堆积的消息,

    该问题要考虑怎么平缓的处理,否则重启后,又会再次宕机。

    问题:

    1.有可能导致数据库连接池占满

    2.有可能导致调用的其他服务,资源占满

    解决方式:

    控制消费的速度。

  • 相关阅读:
    2019年10月24日打印个人信息清单
    vsftp安装
    网络连接
    mysql多种方法修改密码----5.6的坑
    openstack-L版安装
    openstack是什么
    kvm快照
    文件操作
    函数
    virt-manage图形界面键盘错位问题
  • 原文地址:https://www.cnblogs.com/lixiaoran/p/15847225.html
Copyright © 2020-2023  润新知