• Kafka connect


          Kafka 作为消息中间件,得到越来越广泛的应用。Kafka connect 是一种可扩展、可信赖的工具, 用于Kafka 和其它应用系统之间的数据流动。数据源系统可以通过 connect (source) 把消息放入到 kafka 的 topic 中,其它系统可以通过 connect (sink) 从 kafka 中读取。

     单机版connect 演示

      kafka 的包里提供了一些示例。下面以文件 --> kafka --> 文件作为示例。

    1. 启动 Connect Source 和 Connect Sink (kafka 的服务要事先启动好)

    $ bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

        其中 config/connect-standalone.properties 中主要有如下配置:

    • bootstrap.servers   这个配置的是 Kafka 服务器的地址列表。如:  host1:9092,host2:9092
    • key.converter  配置一个 key 的转换类,用于 source connector 写入 kafka 的数据格式,或者 sink connector 从 kafka 读取的数据格式
    • value.converter  同 key.converter ,只不过这是作用于 value 的。
    • offset.storage.file.filename  配置存储偏移信息的文件

         converter 指定了放入 kafka 中的数据格式以及如何把它转换成 Connect 的数据。

    2. 启动一个 Consumer,用于观察 kafka topic 里是否有消息

    $ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning

    3. 往 text.txt 中写入内容

    $ echo 'firest line' >> test.txt

      可以看到 2 中启动的 consumer 收到了一条消息: 

     这条记录也被写到 test.sink.txt 文件中了

  • 相关阅读:
    浅谈CSS3 Filter的10种特效
    简评Photoshop CC新增的复制CSS功能
    首页背景图自适应
    CSS常用浮出层的写法
    隐藏"站长统计"图标
    响应式网站代码收集整理
    【leetcode❤python】 58. Length of Last Word
    【leetcode❤python】 88. Merge Sorted Array
    【leetcode❤python】 234. Palindrome Linked List
    【leetcode❤python】 20. Valid Parentheses
  • 原文地址:https://www.cnblogs.com/langfanyun/p/10303903.html
Copyright © 2020-2023  润新知