• Kafka学习笔记(1)----Kafka的简介和Linux下单机安装


    1. Kafka简介

      Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者

    为Consumer,此外kafka集群有多个kafka实例组成,每个实例成为broker。无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。

      

    2. ubuntu下安装Kafka

      环境说明: 

      1. os:Ubuntu 16.04

      2. zookeeper:zookeeper 3.4.13

      3. kafka:kafka_2.11-2.0.1

      4. jdk:jdk 8(kafka启动需要使用到jdk)

    2.1 jdk安装

      jdk在安装是较为常见的,所以这里就不再详细介绍了。

    2.2 zookeeper安装

      首先下载zookeeper,下载地址为:http://mirror.bit.edu.cn/apache/zookeeper/,如当前源不能访问,请自行更换其他源。如图:

      

      根据自己的需要的版本下载相应的.tar.gz文件,将下载的文件上传到服务器上。通过Xshell 6端,使用命令rz。

      解压文件:

      

      解压后进入conf文件夹,

      将zoo_sample.cfg拷贝一份为zoo.cfg

      如下:

      

      修改zoo.cfg文件:

      

      为zookeeper配置环境变量:

    vim /etc/profile
    export ZOOKEEPER_HOME=/usr/local/middle/zookeeper-3.4.13
    export PATH=.:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH

      

    保存退出

      使用zkServer.sh start启动zookeeper服务:

      

    启动成功,配置正确,然后关闭服务zkServer.sh stop

    2.3 安装配置Kafka单机模式

      下载Kafka,下载地址为:http://mirror.bit.edu.cn/apache/kafka/2.0.1/,如果源不可用,自行更换其他源。如图:

      

      下载自己需要的版本

      将下载的Kafka上传到服务器,使用如下命令解压:

    tar -zxvf kafka_2.11-2.0.1.tgz 

      解压后进入到config文件夹,如下:

      

      分别配置三个文件:

      server.properties:

      主要配置以下几项,其他的都按默认配置即可

    broker.id=1
    #指定端口
    port=9092
    #指定主机
    host.name=localhost
    #数据存储位置
    log.dirs=/usr/local/middle/kafka_2.11-2.0.1/kafka-logs
    #连接zookeeper配置项,这里指定的是单机,所以只需要配置localhost,若是实际生产环境,需要在这里添加其他ip地址和端口号
    zookeeper.connect=localhost:2181

      如图:

    ·

      zookeeper.properties配置:

      

      producer.properties配置:

      

      consumer.properties配置:

      

      启动kafka:

      1. 启动zookeeper服务

      进入kafka根目录,使用如下命令启动zookeeper。

    bin/zookeeper-server-start.sh config/zookeeper.properties

      如图:

      会执行环境变量配置的zk,出现如上图所示表示启动成功。

      新开一个会话启动kafka,使用如下命令:

    bin/kafka-server-start.sh config/server.properties

      如下图: 

     

      出现如上图则表示kafka启动成功。

      至此,单机的Kafka安装完成了。

  • 相关阅读:
    Restful framework【第六篇】认证组件
    Restful framework【第十一篇】url路由控制
    算法学习【第五篇】:排序算法与二分法
    Restful framework【第二篇】APIView
    Restful framework【第三篇】序列化组件
    Restful framework【第四篇】视图组件
    Restful framework【第七篇】权限组件
    Restful framework【第一篇】RESTful 规范
    Restful framework【第九篇】分页器
    转载:“error LNK1169: 找到一个或多个多重定义的符号”的解决方法
  • 原文地址:https://www.cnblogs.com/Eternally-dream/p/9986119.html
Copyright © 2020-2023  润新知