• kafka 学习笔记


    一 基本架构:

    作为一个消息系统,其基本结构至少要包括生产组件(producer)以及消费组件(consumer).

    1.kafka 生产者将消息写入kafka集群

    2.kafka消费者将从集群中拉取消息。

    二、kafka基本概念

    1.主题(topic)

    kafka将一组消息抽象归纳为一个主题

    一个主题就是对消息的分类

    生产者将消息发送到特定主题。

    消费者从订阅的主题进行消费。

    2.消息

    消息是kafka通信的基本单位

    有一个固定的消息头和可变的消息结构组成

    每一条消息成为message,或者record

    3.分区和副本

    每个主题下分为一个或多个分区(partition)

    每个分区由一系列有序的消息组成。

    每个分区物理上对应一个文件夹。

    分区命令规则:topic名称-分区编号,从0开始。

    每个分区有一个或者多个副本,分布在集群的不同代理上。提高高可用行

    分区副本与log日志一一对应。

  • 相关阅读:
    软考之操作系统
    牛腩javascript(二)之正则表达式
    牛腩javascript(一)
    软考之算法
    软考之数据结构
    软考之路之刷屏开始
    XML中的几种比较
    北大青鸟ASP.NET之总结篇
    Webassembly 学习2 -- Js 与C 数据交互
    nginx-proxy_redirect
  • 原文地址:https://www.cnblogs.com/sunshine-long/p/9672729.html
Copyright © 2020-2023  润新知