• 日志通过脚本导入到HDFS当中


    可以关注公众号:分享电脑学习
    回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新)

    利用shell脚本定时备份日志数据到HDFS上(适合日志数据比较少的时候)

    时间命令

    date +"%Y%m%d" 今天的日期

    date -d "1 day ago" +"%Y%m%d" 昨天的日期

    date -d "-1 day" +"%Y%m%d" 昨天的日期

    获取昨天的日志:

    mv access.log 20200128access.log

    在nginx目录下创建一个目录:mkdir scripts

    创建脚本:vi cut_nginx_log.sh

    授权chmod 755 cut_nginx_log.sh

    代码编写

    测试执行

    日志剪切走了

    再创建一个脚本:vi put_log_hdfs.sh

    授权chmod 755 put_log_hdfs.sh

    编写脚本内容

    测试执行

    可以看到HDFS上有数据

    再写一个脚本,分别调用两个脚本 total_put_and_cut_log.sh

    授权chmod 755 total_put_and_cut_log.sh

    第一个脚本调用完了之后

    睡眠1分钟,让第一个脚本有充足的时间备份

    再调用第二个脚本

    测试执行

    这里因为刚刚已经上传了所以文件已经存在

    定时执行crontab:

    crontab -e

    00 00 * * * /bin/sh /user/local/nginx/logs/apps/nginx/logs/scripts/total_put_and_cut_log.sh查看任务:crontab -l

    需要重启crontab:

    service crond restart

  • 相关阅读:
    String的几种初始化方法的区别
    Java编程思想之字符串
    树图 广度优先算法和深度优先算法
    bzoj1047: [HAOI2007]理想的正方形
    bzoj3124: [Sdoi2013]直径
    bzoj3930: [CQOI2015]选数
    bzoj1222: [HNOI2001]产品加工
    bzoj3578: GTY的人类基因组计划2
    bzoj4444: [Scoi2015]国旗计划
    bzoj1040: [ZJOI2008]骑士
  • 原文地址:https://www.cnblogs.com/bqwzy/p/12734698.html
Copyright © 2020-2023  润新知