• Windows OS上安装运行Apache Kafka教程


    Windows OS上安装运行Apache Kafka教程

    Windows OS上安装运行Apache Kafka教程

    下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka。

    简介

    本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookeeper。

    Apache Kafka是一个快速可扩展的消息队列,能够应对繁重的读写负载,即IO相关工作。更多信息请参见http://kafka.apache.org。由于 Zookeeper能提供可靠的分布式协调服务,Apache Kafka需要运行一个Zookeeper实例。更多Zookeeper的相关信息请查看https://zookeeper.apache.org/。

    关于在Windows安装Kafka的具体步骤,可以查看这个视频:https://youtu.be/OJKesEpO6ok

    下载所需文件

    • 根据系统OS和CPU架构,在这里下载Server JRE http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

    • 在这里下载并安装7-zip http://www.7-zip.org/download.html

    • 在这里下载Zookeeper,并用7-zip解压 http://zookeeper.apache.org/releases.html

    • 在这里下载Kafka并用7-zip解压 http://kafka.apache.org/downloads.html

    针 对此教程,我们将Zookeeper与Kafka解压到C盘,不过也可以选择其他位置。这里我们要使用完全的zookeeper,而不是用Kafka打包 的那个,因为这是一个单节点的Zookeeper实例。也可以运行打包了zookeeper的Kafka,位置在kafkainwindows库 中。

    安装

    A. JDK安装

    1.启动JRE安装,选中复选框“修改目标路径”,然后点击安装。

    2.修改安装目录,文件夹名称中不能有空格,例如:C:Javajre1.8.0_xx(默认情况下是C:Program FilesJavajre1.8.0_xx),然后点击下一步。

    3.现在点击控制面板->系统->高级系统设置->环境变量,打开系统环境变量对话框。

    4.点击用户变量中的新用户变量按钮,然后在变量名称那里输入JAVA_HOME,并将自定义的jre路径填入变量值。如下图所示:

    Java路径与版本可能会根据所使用Kafka的版本而有所改变

    5.现在点击ok。

    6.刚才打开的“环境变量“对话框中有“系统变量”一栏,在其中寻找路径变量。

    7.编辑路径与类型“;%JAVA_HOME%in”,如下图:

    8.确认Java安装打开cmd,输入类型“java –version”,应该能够看到刚刚安装的java版本。

    如果命令行提示与上图类似,请继续。否则,需要重新检查安装版本是否与OS架构匹配(x86, x64),以及环境变量路径是否正确。

    B. Zookeeper安装

    1.进入Zookeeper设置目录,比如C:zookeeper-3.4.7conf

    2. 将“zoo_sample.cfg”重命名为“zoo.cfg”。

    3. 在任意文本编辑器(如notepad)中打开zoo.cfg,我个人更喜欢notepad++。

    4. 找到并编辑dataDir=/tmp/zookeeper to :zookeeper-3.4.7data

    5. 与Java中的做法类似,我们在系统环境变量中添加:

      a. 在系统变量中添加ZOOKEEPER_HOME = C:zookeeper-3.4.7

      b. 编辑系统变量,命名为路径 System Variable%ZOOKEEPER_HOME%in;

    6. 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)。

    7. 打开新的cmd,输入zkserver,运行Zookeeper。

    8. 命令行提示如下:

    恭喜,Zookeeper已经完成并在端口2181运行。

    C. 安装Kafka

    1. 进入Kafka配置目录,例如C:kafka_2.11-0.9.0.0config

    2. 编辑文件“server.properties”

    3. 找到并编辑“log.dirs=/tmp/kafka-logs” to “log.dir= C:kafka_2.11-0.9.0.0kafka-logs”

    4. 如果Zookeeper在某些其他的机器或集群上运行,可以将“zookeeper.connect:2181”修改为自定义IP与端口。在这个演示中我 们使用了同一个机器,因此没必要做修改。文件中的Kafka端口和broker.id也是可以配置的。其他设置不变。

    5. Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181。

    D. 运行Kafka服务器

    重要:请确保在启动Kafka服务器前,Zookeeper实例已经准备好并开始运行。

    1.进入Kafka安装目录C:kafka_2.11-0.9.0.0

    2.按下Shift+右键,选择“打开命令窗口”选项,打开命令行。

    3.现在输入.inwindowskafka-server-start.bat .configserver.properties 并回车。

    .inwindowskafka-server-start.bat .configserver.properties

    4.如果一切正常,命令行应当是这样:

    5.现在Kafka已经准备好并开始运行,可以创建主题来存储消息了。我们也能从Java/Scala代码中,或直接从命令行中生成或使用数据。

    E. 创建主题

    1. 现在创建主题,命名为“test”,replication factor=1(因为只有1个Kafka服务器在运行)。如果集群中所运行的Kafka服务器不止1个,可以相应增加replication-factor,从而提高数据可用性和系统容错性。

    2. 在C:kafka_2.11-0.9.0.0inwindows打开新的命令行。

    3. 输入下面的命令,回车:

    kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

    F. 创建Producer及Consumer来测试服务器。

    1.在C:kafka_2.11-0.9.0.0inwindows打开新的命令行。

    2.输入以下命令,启动producer:

    kafka-console-producer.bat --broker-list localhost:9092 --topic test

    3.在同样的位置C:kafka_2.11-0.9.0.0inwindows再次打开新的命令行。

    4.现在输入下列命令启动consumer:

    kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

    5.现在有两个命令行窗口,如下图:

    6.在producer命令行中任意输入内容,回车;在其他consumer命令行中能看到相应消息。

    7.如果能够将消息推送到consumer端并显示出来的话,Kafka安装就完成了。

    一些有用的命令

    1. 列出主题:kafka-topics.bat –list –zookeeper localhost:2181

    2. 描述主题:kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name]

    3. 从头读取消息:kafka-console-consumer.bat –zookeeper localhost:2181 –topic [Topic Name] –from-beginning

    4. 删除主题:kafka-run-class.bat kafka.admin.TopicCommand –delete –topic [topic_to_delete] –zookeeper localhost:2181

  • 相关阅读:
    android init进程分析 ueventd
    SpringBoot发布WAR启动报错:Error assembling WAR: webxml attribute is required
    No such file or directory 8356:error:02001003:system library:fopen:No such process:cryptoioss_file.c:7 4:fopen
    mybatis-generator的maven插件使用异常(mybatis-generator-maven-plugin):generate failed: Exception getting JDBC Driver
    maven中import scope依赖方式解决单继承问题的理解
    复式记账中"借"与"贷"的理解
    Spring初始化Bean或销毁Bean前执行操作的方式
    NoClassDefFoundError: com/ibatis/sqlmap/engine/transaction/external/ExternalTransactionConfig处理
    Spring Bean依赖但注入(autowired或resource)时NullPointerException(xml和annotation混用的场景下)
    解决IntelliJ IDEA 创建Maven项目速度慢问题
  • 原文地址:https://www.cnblogs.com/Qiaoyq/p/5717404.html
Copyright © 2020-2023  润新知