• Kafka Broker | 命令行选项和过程


    1.目标

    在这个Apache Kafka 教程中,我们将学习Kafka Broker。Kafka Broker管理主题中的消息存储。如果Apache Kafka有多个代理,那就是我们所说的Kafka集群此外,在本Kafka Broker教程中,我们将学习如何启动Kafka Broker和Kafka命令行选项。
    那么,让我们开始Apache Kafka Broker。

    卡夫卡经纪人

    Kafka Broker | 命令行选项和过程

    2.什么是Kafa经纪人?

    Kafka代理也称为Kafka服务器和Kafka节点。这些所有名称都是它的同义词。简单来说,经纪人是两者之间的中介。但是,Kafka经纪人更准确地描述为消息代理,它负责调解不同计算机系统之间的对话,保证将消息传递给正确的各方。
    阅读Apache Kafka Security | Kafka的需求和组件
    因此,Kafka集群通常由多个代理组成。Kafka Cluster使用Zookeeper来维护集群状态。单个Broker每秒可以处理数千次读写操作。 然而,如果没有性能影响,每个代理都可以处理TB消息。另外,要非常肯定ZooKeeper会执行经纪人领袖选举。

    卡夫卡经纪人

    经纪人在卡夫卡的工作

    基本上,Kafka中的经纪人被建模为主持主题的KafkaServer。在这里,给定的主题总是在代理之间进行分区,在集群中,单个代理实际上托管一个或多个主题的主题分区,即使主题仅分区到单个分区也是如此。
    了解Apache Kafka Consumer | Kafka Consumer的示例
    此外,生产者在收到经纪人将其存储在由唯一偏移量键入的磁盘上后,向代理发送消息。此外,通过主题,分区和偏移,代理允许消费者获取消息。但是,代理可以通过使用Zookeeper直接或间接地相互共享信息来创建群集。此外,我们可以说Kafka集群只有一个代理作为控制器。通过使用kafka-server-start.sh脚本,我们可以启动一个Kafka经纪人。

    3.如何启动Kafka Broker?

    • 启动Zookeeper。
    1. ./bin/zookeeper-server-start.sh config / zookeeper.properties

    我们可以启动一个Kafka服务器,只有当Zookeeper启动并运行时(它将连接到Zookeeper)。

    1. ./bin/kafka-server-start.sh config / server.properties
    2. kafka-server-start.sh脚本

    因此,kafka-server-start.sh 启动经纪人。

    1. $ ./bin/kafka-server-start.sh
    2. 用法:./ bin / kafka-server-start.sh [ -daemon ] server.properties [ --override property = value ] *

    注意 -在运行kafka-server-start.sh 之前,请确保Zookeeper已启动并运行而且,使用zookeeper-server-start shell脚本。
    看看Apache Kafka + Spark Streaming Integration
    kafka-server-start.sh 使用config / log4j.properties来记录我们可以使用KAFKA_LOG4J_OPTS 环境变量覆盖的配置

    1. KAFKA_LOG4J_OPTS = “ - Dlog4j.configuration = file:config / log4j.properties”

    kafka-server-start.sh 接受KAFKA_HEAP_OPTS和EXTRA_ARGS 环境变量。

    4.卡夫卡命令行选项

    -name 
    在守护进程模式下默认为kafkaServer。
    -loggc 
    在守护进程模式下启用。
    -daemon 
    启用守护程序模式。
    -override property = value 
    应覆盖server.properties文件中为property设置的值的值。
    让我们修改Apache Kafka Streams | 流处理拓扑

    1. $ ./bin/kafka-server-start.sh config / server.properties --override broker.id = 100
    2. ...
    3. 信息[ KafkaServer id = 100 ]已启动kafka.server.KafkaServer

    5.结论

    因此,我们已经学习了完整的Kafka Broker以及启动它的命令。但是,如果有任何疑问,请随时在评论部分询问。
    另请参阅 -  
    Kafka-序列化和反序列化以

  • 相关阅读:
    ChartControl第一课简短的控件初步设计
    DevExpress中ChartControl柱状图(Bar)用法
    devexpress中用ChartControl生成柱状图
    ChartControl一个小Demo
    初识Devexpress ChartControl 之 动态添加stepline及TextAnnotation
    DEV控件之ChartControl用法
    DevExpress]ChartControl 创建Drill-Down样式的Title
    winform CheckedListBox实现全选/全不选
    winform 配置文件的加密解密
    Winform自定义窗体样式,实现标题栏可灵活自定义
  • 原文地址:https://www.cnblogs.com/a00ium/p/10852405.html
Copyright © 2020-2023  润新知