• Kafka集群搭建和配置


    Kafka配置优化

    https://www.jianshu.com/p/f62099d174d9

    1.安装&配置

    下载tar包

    解压后即可使用

    修改配置文件

    将server.properties复制和修改为三个配置文件(为启动3个kafka服务做准备)

    设置broker.id,集群中各节点的标识,要求不重复

    绑定端口和ip

    设置日志文件(数据文件)存放位置

    设置zk地址和连接超时时间(为方便演示,使用kafka自带的zk)

    另外两个配置文件参考以上配置,并设置端口为9092,,9094

    2.自动zk

    kafka集群的高可用依赖zk,启动kafka之前要先启动zk(生产环境应使用独立的zk集群)

    为方便查看日志,这里使用前台启动方式,生产环境应使用daemon方式

    3.启动kafka集群

    kafka集群是去中心化的,所以无需关注集群中各服务的启动书序

    同样的,为了方便查看日志,测试时使用前台启动方式

     

    启动另外两个kafka broker服务,可以看到kafka集群和zk都已启动

    4.通过kafka自带的console producer和consumer测试订阅和发布

     创建一个topic(新版本的kafka,offset存放在topic中)

    启动console producer,kafka是去中心化的,连接集群中任何一个节点都可以进行消息发布,kafka会在内部进行同步

    启动console consumer

    在producer窗口发布消息

    consumer成功消费到了消息

  • 相关阅读:
    设计模式(三):装饰模式
    实战pythoninstagram
    设计模式(二):观察者模式
    instagram 的api研究
    设计模式(四):代理模式
    设计模式(五):工厂模式
    qq微博oauth认证记录
    js 处理json数据记录
    17Django高级之Auth
    20Django高级之信号
  • 原文地址:https://www.cnblogs.com/zhya/p/9639815.html
Copyright © 2020-2023  润新知