• kafka基础知识


     1.kafka分区,副本

    kafka 每个主题在结构上有一个或者多个分区构成,分区数可以在创建主题时指定,也可以在主题创建之后修改,由kafka-topic.sh修改,但是只能增加不能减少分区数。

    每个分区有一个副本或者多个副本组成,挑选其中一个副本作为leader,其它的为follower,

    leader负责读写操作,接受生产者将消息发送,follower只从leader同步数据。

     2. 日志结构

    每个分区对应一个物理目录,每个分区至少有一个副本,每个副本分布在不同节点上,对应分区的日志

    .log    日志文件  任何发布到分区的消息都会被直接追加到该日志文件
    .index  消息偏移量索引文件
    .timeindex  消息时间戳索引文件
    

    3. IST kafka在zookeeper中动态维护了一个ISR(In-sync Replica),即同步保存副本列表,即所有副本对应节点id

    4.启动kafka

    bin目录下

    ./kafka-server-start.sh -daemon ../config/server.properties
    

    5.查看java进程

    [root@docp-n bin]# jps
    2032 Kafka
    5188 Jps
    5157 Kafka
    1755 QuorumPeerMain
    

     启动两个kafka

    6.通过zookeeper 客户端登录zookeeper查看目录结构

    ./zkCli.sh -server localhost:2181 

    [root@docp-n bin]# ./zkCli.sh -server localhost:2181
    Connecting to localhost:2181
    Welcome to ZooKeeper!
    JLine support is enabled
    
    WATCHER::
    
    WatchedEvent state:SyncConnected type:None path:null
    [zk: localhost:2181(CONNECTED) 0] ls /brokers/ids   #查看已启动的节点
    [0, 1]
    

    7.伪分布

    在一个节点可以启动多个kafka,指定另一个配置文件即可,需要修改节点id

    ./kafka-server-start.sh -daemon ../config/server.properties-1
    

    8.集群

    集群修改 conf/server.properties 下的 zookeeper.connect即可

    zookeeper.connect=docp1:2181,10.0.1.222:2181
    
  • 相关阅读:
    权限系统概要(收集,整理)
    全程参观 Google 总部
    从Excel表格中坐标生成 点线面
    Cross Site Script 知识
    UserControl 实现From_Close
    用后立即调用Dispose
    获取鼠标点击处的颜色
    arcsde9.3 the arcsde repository is not successfully created
    ArcGIS9.3全套 下载地址
    SQLServer 2008 安装 is not a volid login or don't have permission
  • 原文地址:https://www.cnblogs.com/sunshine-long/p/9842015.html
Copyright © 2020-2023  润新知