• 定时任务实战


    1,生产环境常用Crontab专业实例

    1.1书写crontab定时任务多个基本要领

    1.1.1 规范定时任务两例

    例1:每分钟打印一次自己的名字拼音全拼到“/server/log/自己的名字命名的文件”中。

    [root@chensiqi1 ~]# mkdir -p /server/log/
    [root@chensiqi1 ~]# echo "chensiqi" >>/server/log/chensiqi
    [root@chensiqi1 ~]# cat /server/log/chensiqi 
    chensiqi
    [root@chensiqi1 ~]# crontab -e
    crontab: installing new crontab
    [root@chensiqi1 ~]# crontab -l
    ##print name to file
    * * * * * /bin/echo "chensiqi" >>/server/log/chensiqi
    [root@chensiqi1 ~]# 

    解答:
    方法1:

    #print my name to log by chensiqi at 2017211
    * * * * * /bin/echo "chensiqi" >>/server/log/chensiqi

    方法2

    #print my name to log by chensiqi at 2017211
    */1 * * * * /bin/echo "chensiqi" >>/server/log/chensiqi >dev/null 2>&1
    提示:这是一个错误的定时任务,请同学们思考错在了哪里?

    解答知识小结:

    1,定时任务要加注释
    2,如果已经要定向到文件中,结尾不要有>/dev/null 2>&1
    3,/server/log目录必须要存在才能出结果,如没有创建这个目录。
    4,定时任务中的路径一定要绝对路径
    5,crond服务必须首先开启
    6,查看定时任务日志tail /var/log/cron

    例2:每周六,日上午9点和下午14点(执行/server/scripts/chensiqi.sh).要求:/server/scripts/chensiqi.sh脚本的功能是打印当天的日期:格式为2017-02-11可以随意。

    解答:

    ##
    00 9,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >/dev/null 2>&1

    步骤:

    • 1,创建对应的目录
      mkdir /server/scripts -p
    • 2,命令行测试
      date +%F 2017-02-11
    • 3,书写脚本
      echo 'date +%F' >/server/scripts/chensiqi.sh cat /server/scripts/chensiqi.sh
    • 4,命令行测试脚本
      /bin/sh /server/scripts/chensiqi.sh
      2017-02-11
    • 5,编辑定时任务(让他快速执行*****)
      crontab -e
      #sync time chensiqi at 20170211 */5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com >>/server/log/chensiqi.log 2>&1

    注意:
    测试的时候最好定向到一个文件中。

    • 6,测试
      tail -f /server/log/chensiqi.log
      2017-02-11
    • 7,按照原来的要求更改定时任务的时间
    #go to chensiqi trainning by chensiqi at 20170211
    00 09,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >>/server/log/chensiqi.log

    技巧:

    1. 定时任务一定要尽量用脚本实现。
    2. 命令行操作成功,然后放入脚本执行(/bin/sh 脚本全路径)成功,最后在配置任务
    3. 复制操作成功的命令行脚本,再定时任务里黏贴配置。
    4. 加/bin/sh执行脚本 /bin/sh /server/script/chensiqi.sh
    5. 要把脚本的执行结果定向到空或者是一个文件中,不要什么都不加。

    1.1.2 定时任务书写要领

    • 要领1:为定时任务规则加必要的注释

    加必要注释:写定时任务规则时尽可能的加上注释(最好是英文注释),这是个好的习惯和规范。
    例如:谁在什么时间干了什么(注释内容)什么人,什么时间,因为什么,做了什么。如果这些都标记清楚了,这样其他的运维人员可以很容易的理解任务的信息,从而提升团队的工作效率。

    • 要领2:执行shell脚本任务前加/bin/sh

    执行定时任务时,如果是执行脚本,请尽量在脚本前面加上/bin/sh命令,否则有可能因为忘了为脚本设定执行权限(x),从而以为OK了,结果无法完成任务,这样就“悲剧”了

    • 要领3:定时任务命令或脚本的结尾加>/dev/null 2>&1

    定时任务(一般是脚本任务)规则的结尾最好加上>/dev/null 2>&1等内容,如果需要打印日志,则可以追加到指定的日志文件里(此时不要和/dev/null同时存在),尽量不要留空。如果任务是命令的话,结尾使用“>/dev/null 2>&1”时要多测试下,要有检查手段。如:/1 * * * echo "==" >>/tmp/chensiqi.log>/dev/null 2>&1 任务规则就是无法执行的。

    • 要领4:定时任务命令超过2条的命令执行,最好用脚本文件

    超过2条的命令执行,最好用脚本文件。下面的方法就是不规范的,不专业的。
    * * * * * sleep 1;echo chensiqi >> /server/log/chensiqi.log

    标准写法:

    [root@chensiqi /]# cat /server/scripts/log.sh
    sleep1
    echo chensiqi >> /server/log/chensiqi.log

    定时任务写法:

    * * * * * /bin/sh /server/scripts/log.sh >dev/null 2>&1
    
    定时任务,给定时任务看病的日志/var/log/cron
    • 要领5:在指定用户下执行相关定时任务

    需要root权限执行的任务可以登录到root用户下然后设置,如果不需要root权限,可以登录到普通用户下(也可以直接在root下crontab -u chensiqi -e 的写法直接设置),然后设置。这里要特别注意不同用户的环境变量问题,如果是调用了系统环境变量/etc/profile(如生产场景中java程序的定时任务),最好在程序脚本中将用到的环境变量重新export下(下文有案例)。

    • 要领6:生产任务程序不要随意打印输出信息。
      尽量关闭取消没有用的输出(命令的执行过程)
      1,定向到文件
      2,>/dev/null 2>&1
      在开发定时任务程序或脚本时,在调试好脚本程序后,应尽量把DEBUG及命令输出的内容信息屏蔽掉,如果确实需要输出日志,可定向到执行日志文件里,避免产生系统垃圾。

    • 要领7:定时任务命令或程序最好写到脚本里执行

    • 要领8:定时任务执行的脚本要规范路径

    例如:/server/scripts

    • 要领9:配置定时任务规范操作过程,防止出错。

    1,首先要在命令行操作成功,然后复制成功的命令到脚本里,在各个细小环节减少出错的机会。
    2,然后测试脚本,测试成功后,复制脚本的规范路径到定时任务配置里,不要手敲。
    3,先在测试环境下测试,然后正式环境规范部署

    小结:

    书写定时任务的若干要领方法:
    要领1:为定时任务规则加必要的注释。
    要领2:执行shell脚本任务前加/bin/sh
    要领3:定时任务命令或脚本结尾加>/dev/null 2>&1
    要领4:定时任务命令或程序最好写到脚本里执行
    要领5:在指定用户下执行相关的定时任务
    要领6:生产任务程序不要随意打印输出信息
    要领7:定时任务执行的脚本要规范路径(/server/scripts)
    要领8:配置定时任务规范操作过程

    1.1.3 在命令行输入./chensiqi.sh(/server/scripts/chensiqi.sh)与sh chensiqi.sh区别在哪?

     [root@chensiqi1 ~]# cat chensiqi.sh
     #!/bin/bash
    
    echo "chensiqi"
    [root@chensiqi1 ~]# ll chensiqi.sh
    -rw-r--r--. 1 root root 29 Feb 10 21:44 chensiqi.sh
    [root@chensiqi1 ~]# sh chensiqi.sh
    chensiqi
    [root@chensiqi1 ~]# ./chensiqi.sh
    -bash: ./chensiqi.sh: Permission denied
    [root@chensiqi1 ~]# 
    
    命令说明:
    sh chensiqi.sh表示用/bin/sh这个命令来解析并启动chensiqi.sh这个脚本。而./chensiqi.sh表示利用linux的默认解释器来解析并启动这个脚本。因此,./chensiqi.sh需要linux下x的执行权限,而sh chensiqi.sh不需要。

    1.1.4 定时任务不加>/dev/null 2>&1的后果

    • 如果定时任务规则结尾不加>/dev/null 2>&1等命令配置,有可能有大量输出信息,时间长了,可能由于系统未开启邮件服务而导致邮件临时目录/var/spool/clientmqueue 文件数猛增的隐患发生,大量文件会占用大量磁盘inode节点(每个文件占一个inode),以致磁盘inode满而无法写入正常数据(下文有案例)。
    • 提示:上面的>/dev/null 2>&1 写法也可以写成1>/dev/null 2>/dev/null,例:$JAVA-jar $RESIN_HOME/lib/resin.jar $ARGS stop 1>/dev/null 2>/dev/null 此写法来自resin服务默认启动脚本
    • 上述是centos5.8的情况,假如系统不安装sendmail(Centos6.4),那是不是就没有上述问题了?

    企业案例::如果定时任务规则结尾不加>/dev/null 2>&1,很容易导致硬盘inode空间被占满,从而系统服务不正常。

    当一个定时任务执行的时候,就会给系统发一封邮件。sendmail邮件服务,经常是关闭的,所以定时任务发送的邮件就会临时堆在/var/spool/clientmqueue/,时间长了,/var/spool/clientmqueue/文件数特别多。Centos5的时候一定会有这个问题。

    Centos6呢?请往下看。

    [root@chensiqi1 ~]# cat /etc/redhat-release 
    CentOS release 6.8 (Final)
    [root@chensiqi1 ~]# crontab -l 
    #go to chensiqi trainning by chensiqi at 20170211
    * * * * * /bin/sh /root/chensiqi.sh
    [root@chensiqi1 ~]# ls /var/spool/postfix/maildrop/
    D3AD0C6  DB2BAC9  E14E6D0  E5222D1
    [root@chensiqi1 ~]# 
    
    命令说明:
    定时任务没定向到空,postfix服务没有开启的话,那么每执行一次定时任务,/var/spool/postfix/maildrop/文件夹下就会产生一个小文件,随着时间累计,就会越来越多,导致出现问题。
    如果开启了邮件服务,就会直接给root发送邮件。

    解决方法:
    1,删除大量小文件/var/spool/postfix/maildrop/下所有文件(ls|xargs rm -f)
    2,临时开启postfix(sendmail)服务
    3,vi /etc/crontab:将‘MAILTO=root’替换成‘MAILTO=“”’然后service crond restart即可。(如果还不行,crontab -e 第一行增加MAILTO=“”)

    亡羊补牢:

    定时任务定向到空>/dev/null 2>&1

    目录名解释
    /var/spool/clientmqueue centos5.xsendmail临时邮件文件目录,有很多原因会导致这个目录碎文件很多,比如crontab定时任务命令不加>/dev/null等,并且sendmail服务没开。工作中偶尔会因为该目录文件太多,导致/var所在的分区inode数量被消耗尽,无法写入文件的情况
    /var/spool/postfix/maildrop/ centos6.x postfix临时队列目录/var/spool/postfix/maildrop/默认定时任务执行时会给root发邮件,如果邮件服务不开,就会把邮件推到上述目录。当定时任务结尾不加>/dev/null 2>&1的时候,定时任务就会在上述目录存大量小文件

    1.2 定时任务的系统配置文件/etc/crontab

    [root@chensiqi1 ~]# cat /etc/crontab
    SHELL=/bin/bash  
    PATH=/sbin:/bin:/usr/sbin:/usr/bin 
    MAILTO=root  
    HOME=/  
    
    # For details see man 4 crontabs
    
    # Example of job definition:
    # .---------------- minute (0 - 59)
    # |  .------------- hour (0 - 23)
    # |  |  .---------- day of month (1 - 31)
    # |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
    # |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
    # |  |  |  |  |
    # *  *  *  *  * user-name command to be executed
    

    SHELL=/bin/bash #shell解释器
    PATH=/sbin:/bin:/usr/sbin:/usr/bin #PATH环境变量
    MAILTO=root #定义如果任务有输出,发给哪个用户,默认发给root用户
    HOME=/ #定时任务执行命令从根目录开始

    轮询的日志(日志轮询):周期性切割日志
    系统的定时任务+logrotate

    [root@chensiqi1 ~]# cat /etc/cron.daily/logrotate 
    #!/bin/sh
    
    /usr/sbin/logrotate /etc/logrotate.conf
    EXITVALUE=$?
    if [ $EXITVALUE != 0 ]; then
        /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
    fi
    exit 0
    [root@chensiqi1 ~]ll /var/log/messages*
    -rw-------. 1 root root   58049 Feb 10 23:18 /var/log/messages
    -rw-------. 1 root root 1492005 Jan  2 06:51 /var/log/messages-20170102
    -rw-------. 1 root root  633737 Jan  8 08:02 /var/log/messages-20170108
    -rw-------. 1 root root 1594144 Feb  4 04:25 /var/log/messages-20170204
    -rw-------. 1 root root   21512 Feb  6 03:41 /var/log/messages-20170206
    [root@chensiqi1 ~]# ll /var/log/secure*
    -rw-------. 1 root root  4810 Feb 10 22:39 /var/log/secure
    -rw-------. 1 root root 64822 Jan  2 06:27 /var/log/secure-20170102
    -rw-------. 1 root root 14187 Jan  8 07:22 /var/log/secure-20170108
    -rw-------. 1 root root 13540 Jan 12 00:17 /var/log/secure-20170204
    -rw-------. 1 root root  5723 Feb  6 02:50 /var/log/secure-20170206

    1.3 企业生产场景如何调试crontab定时任务

    1.3.1 增加执行任务频率调试任务(某些任务不能用于生产环境)

    1,在调试时,把任务执行频率调快一点,如:每分钟,每5分钟执行一次,或者比当前时间推迟5分钟以后,看能否执行,是不是按照你想象的去执行了,如果正常没问题了,在改成需要的任务的执行时间。

    强调:有些计划任务是不允许频繁执行的,例如:定时往数据库里插入数据,这样的任务就要在测试机上测试好,然后部署到正式线上,这样正式工作出问题的机会就少了。

    规范的公司开发和运维人员操作流程,个人的开发配置环境-->办公室的测试环境-->idc机房的测试环境-->idc机房的正式环境。

    使用log文件调试任务

            • /bin/sh /server/scripts/del_sys_file.sh >/tmp/file.log 2>&1

    1.3.2 调整系统时间调试任务(不能用于生产环境)

    如字面意思,调整系统时间,以达到接近触发计划任务的目的进行调试。

    1.3.3 通过脚本日志输出调试定时任务

    在脚本中加入日志输出,然后把输出打到指定的日志中,然后观察日志内容结果,看是否执行或正确执行。或像下面的内容把脚本结果定向到一个log文件里,重定向>即可,不需要>>追加,这样日志就不会一直变大,如/app/log.log。

    #study task by chensiqi at 20170211
    00 09,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >/app/log.log 2>&1
    也可以在脚本里面echo 1 >/tmp/a.log
    脚本中加输出
    [root@chensiqi ~]# cat tar.sh
    cd /
    tar zcvf /tmp/etc_$(date +%Y%m%d%H).tar.gz ./etc >/tmp/tmp.log 2>&1

    sh -x 显示脚本的执行过程

    [root@chensiqi ~]# /bin/sh /server/scripts/chensiqi.sh
    2017-02-11
    [root@chensiqi ~]# /bin/sh -x /server/scripts/chensiqi.sh
    + date +%F
    2017-02-11

    1.3.4 注意环境变量导致的定时任务故障

    PATH
    在调试java程序任务的时候,注意环境变量,把环境变量的定义加到脚本里。
    例:

    [root@chensiqi ~]# cat /scripts/resin/shell/Task.sh
    #!/bin/bash
    export JAVA_HOME=/application/jdk1.6
    export PATH=$JAVA_HOME/bin:$PATH
    export SH_HOME=/application/resin/webapps/ROOT/
    export LIB=$SH_HOME/WEB-INF/lib
    以下省略...
    
    定时任务:
    00 09,14 * * * nohup /scripts/resin/shell/Task.sh & >/app/log.log 2>&1
    提示:命令也要尽可能写全路径。

    1.3.5 通过crond定时任务服务日志调试定时任务

    查看定时任务服务日志

    [root@chensiqi1 ~]# tail -f /var/log/cron
    Feb 10 23:50:01 chensiqi1 CROND[15949]: (root) CMD (/usr/lib64/sa/sa1 1 1)
    Feb 10 23:53:01 chensiqi1 CROND[15955]: (root) CMD (/usr/lib64/sa/sa2 -A)
    Feb 11 00:00:01 chensiqi1 CROND[15987]: (root) CMD (/usr/lib64/sa/sa1 1 1)
    Feb 11 00:01:01 chensiqi1 CROND[15992]: (root) CMD (run-parts /etc/cron.hourly)
    Feb 11 00:01:01 chensiqi1 run-parts(/etc/cron.hourly)[15992]: starting 0anacron
    Feb 11 00:01:01 chensiqi1 anacron[16003]: Anacron started on 2017-02-11
    Feb 11 00:01:01 chensiqi1 anacron[16003]: Jobs will be executed sequentially
    Feb 11 00:01:01 chensiqi1 anacron[16003]: Normal exit (0 jobs run)
    Feb 11 00:01:01 chensiqi1 run-parts(/etc/cron.hourly)[16005]: finished 0anacron
    Feb 11 00:10:01 chensiqi1 CROND[16008]: (root) CMD (/usr/lib64/sa/sa1 1 1)

    1.3.6 其他稀奇古怪的问题调试的办法

    直接命令行执行无问题而放到定时任务就不行
    综合前边1-5的方法就可以解决几乎所有遇到的问题了,此类问题主要是多看crond服务日志,并且把程序输出到指定日志分析。

  • 相关阅读:
    和我一起看API(一)你所不知道的LinearLayout补充
    SQLSERVER常见系统函数之字符串函数(一)
    C#使用ADO.NET访问数据库(一)
    SQLSERVER基础语句(一)
    Vue 项目部署之iis
    XiaoQi.Study 之 .net core webapi (三)
    XiaoQi.Study 之 .net core webapi (二)
    XiaoQi.Study 之.net core webapi(一)
    Vue 学习笔记(四)
    Vue 学习笔记(二)
  • 原文地址:https://www.cnblogs.com/zpzp7878/p/10371573.html
Copyright © 2020-2023  润新知