Kafaka安装:
上传kafaka安装包:
解压安装包到指定目录:
sudo tar -zxf kafka_2.11-0.10.2.0.tgz -C /opt/module/
一定要赋予权限:
sudo chown -R hadoop ./kafka
打开一个终端输入下面命令启动Zookeeper服务
bin/zookeeper-server-start.shconfig/zookeeper.properties
若启动不成功则可能是与之前的zookeeper的dataDir冲突
修改kafka的zookeeper的配置文件
进入kafka的config的目录:
修改zookeeper.properties文件
然后重启zookeeper服务,启动成功
启动kafka服务
bin/kafka-server-start.sh config/server.properties
下载spark-streaming-kafaka注意版本号对应
下载地址:https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10_2.12/3.2.1
注意后面的2.12要与spark的scala版本对应
把jar文件复制到Spark目录下的jars目录下
在spark的jars目录下新建kafka文件夹
把kafka文件下的libs中的jar文件复制到里面