• kafka学习1:kafka安装


    一、环境准备

          1、jdk

          如果不会安装linux下的jdk,参考这篇文章:http://www.cnblogs.com/gudi/p/7812033.html

          2、kafka

          wget –c http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

    二、安装kafka

          解压kafka:tar –zxvf kafka_2.11-1.0.0.tgz /usr/app/kafka

          配置环境变量:

          vi /etc/profile

          作为单机的kafka,我们就已经安装完成了,集群安装,我会在后面的文章中介绍,下面我们来用单机版的kafka来验证我们的安装成果。

    三、安装验证:发送简单的消息

          1、启动zookeeper

          PS:kafka需要zookeeper的支持,如果已经安装了zookeeper,可以先启动zookeeper。

          如果没有安装zookeeper,kafka也自带了zookeeper,在kafka的安装目录下执行:

      > bin/zookeeper-server-start.sh config/zookeeper.properties

             [2017-11-09 16:25:05,679] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)

             …

          说明zookeeper已经启动了。

          2、启动kafka

      > bin/kafka-server-start.sh config/server.properties

             [2017-11-09 17:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)

             [2017-11-09 17:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)

             …

          说明kafka已经启动了。

          3、创建一个topic

          

           --zookeeper:zookeeper地址:端口

          --replication-factor : 副本数量

          --partitions:分区数量

          --topic:主题名称

          这里创建了一个名为test的topic,其他的为以前创建的。

          PS:这里用到的zookeeper是本的,所以用localhost,同时zookeeper对client端提供服务的端口是2181。

          4、启用procedure,发送消息

           

          5、启用consumer,接收消息

           

          PS:在建立联系后,在procedure端发消息,则consumer端可以马上接收到消息。

  • 相关阅读:
    8.2 TensorFlow实现KNN与TensorFlow中的损失函数,优化函数
    8.3 TensorFlow BP神经网络构建与超参数的选取
    8.3 TensorFlow BP神经网络构建与超参数的选取
    聊一聊深度学习的weight initialization
    聊一聊深度学习的weight initialization
    聊一聊深度学习的activation function
    聊一聊深度学习的activation function
    Hadoop-2.7.4 八节点分布式集群安装
    Hadoop-2.7.4 八节点分布式集群安装
    Vue学习笔记(一) 入门
  • 原文地址:https://www.cnblogs.com/gudi/p/7828342.html
Copyright © 2020-2023  润新知