• Flume+Kafka+SparkStreaming启动命令笔记


    1.将日志产生程序写入crontab中:

    crontab -e

    #每一分钟执行一次
    */1 * * * * /home/qian/data/project/log_generator.sh

    进入logs日志文件中:tail -f access.log

    定时脚本添加成功

    2.开启ZK:

    zkServer.sh start

    3.开启kafka-server:

    kafka-server-start.sh -daemon 
    /home/qian/app/kafka_2.11-0.9.0.0/config/server.properties

    3.开启flume agent:

    flume-ng agent 
     --name exec-memory-kafka 
     --conf $FLUME_HOME/conf/ 
     --conf-file ~/data/project/streaming_project2.conf 
     -Dflume.root.logger=INFO,console

    4.开启sparkstremaing(只做了简单的计数操作):

    (1)在IDEA中执行scala代码,控制台如下:

    (2)在git-bash中打成jar包:

    mvn clean package -DskipTests

    (3)打包成功上传到服务器上:

     (4)在服务器上运行上传的jar包。

  • 相关阅读:
    【UR #17】滑稽树前做游戏
    chage
    [SDOI2016]储能表——数位DP
    password
    groupdel
    [NOI2017]泳池——概率DP+线性递推
    groupadd
    CF986C AND Graph
    userdel
    CF986C AND Graph
  • 原文地址:https://www.cnblogs.com/BigStupid/p/9804215.html
Copyright © 2020-2023  润新知