linux 定时删除文件夹的的内容 （find && crontab 使用）

Jenkins 跑的回归结果太多，清理不及时，老是爆盘。
可以通过shell 脚本写一个清理的小程序，然后通过 crontab -e 来设置程序自动运行时间
1 因为我要删除的是整个文件夹，所以，shell 内容如下：

！/bin/sh

find /project/project_name/run/ -maxdepth 1 -type d -mtime +1 |xargs rm -rf

如果想要删除某些问价而不是文件夹，内容如下：
find /project/project_name/run/ -type f -mtime +1 -name "*" -exec rm -rf {} ;
2 此时运行shell 脚本只是可以清理文件，如何让它定时运行：Linux terminal 下：
crontab -e // crontab：定时任务的守护进程，精确到分
40 18 * * * sh /shell_dir // 40 40分钟， 18 表示18：00， 这句话意思是每天18:40运行shell 脚本

以下是对于find 和crontab 的解释
find 转载自 https://www.cnblogs.com/johnnyliu/archive/2013/04/09/3010384.html
linux中的find的命令查找文件的重要方式，辅以其他的bash命令可以实现强大的操作效果。
先看看放find命令的基本组成：
find pathname -option [-print -exec -ok ...]
分类记忆各项属性参数～
　　pathname：指定find命令的查询根路径，例如 ‘ / ’，‘./ ' 等。
　　　　　　　 同时还可在-path参数中指定搜索路径。
　　-option：
　　 1、文件操作：
　　　　　　　　　-name　用引号” “将查询的文件名括起来，可适用于简单的正则表达式（应改为shell的元字符，下同）。
　　　　　　　　　-type　 指定查找文件的类型
　　　　　　　　　　　　　　b - 块设备文件。
　　　　　　　　　　　　　　d - 目录。
　　　　　　　　　　　　　　c - 字符设备文件。
　　　　　　　　　　　　　　p - 管道文件。
　　　　　　　　　　　　　　l - 符号链接文件。
　　　　　　　　　　　　　　f - 普通文件。　　
　　　　　　　　　-size n　指定文件大小，若数字前+表示大于，-表示小于；常用单位c（字节），k（KB），M（MB）
　　 2、用户权限：
　　　　　　　　　-perm　用户权限permission，用常用的三位数字，如644表示权限。若数字前+表示至少包括指定的一种访问权限，-表示必须包括指定的所有访问权限
　　　　　　　　　-user / -nouser　　按文件属主查询 / 查找无有效属主的文件
　　　　　　　　　-group / -nogroup　按文件所属租来查 / 查找无有效所属租的文件　
　　 3、时间选项：
　　　　　　　　　-atime / -amin n 最近访问（accessed）过的文件，前者表示单位是天（24h），后者单位是分钟（minute）；若数字前+表示n段时间前，-表示最近n段时间。后同。
　　　　　　　　　-ctime / -cmin n　最近状态改变（changed）过的文件　　
　　　　　　　　　-mtime / -mmin n　最近内容修改（modified）过的文件　
　　　　　　　　　-newer file！otherfile 查找更改时间比file新的文件，加上非（！）则查找比otherfile旧的文件　　
(注意，逻辑符号包括！（not）、-a（and）、-o（or），在命令中都是短路求值，简单讲就是若后面的参数不影响逻辑判断，则不对后面求值。在find命令中一般在选项之前添加逻辑符号）
　 4、文件路径：
　　　　　　　　　-follow　遇到符号链接文件，就跟踪到链接指向的文件
　　　　　　　　　-mount　不跨越文件系统的mount点，即在当前的文件系统查询，不进入其他文件系统（如挂载的windows系统）
　　　　　　　　　-path　给出文件路径，可在路径中查询，满足简单正则表达式（元字符）。例如查找当前路径中' ./var/www '子目录中的’ index.html ’ 文件：
$ find . -path './var/www*' -name 'index.html' -print
./var/www/learn/study_smarty/templates/index.tpl
./var/www/learn/study_smarty/docs/index.php
./var/www/learn/index.php
./var/www/index.html
（结果中可以看到，-path选项中的参数要为模糊的查询条件，我理解的-path选项查找出的文件名实际上是带路径的字符串，而-path中则是满足结果字符串中的前面的路径字符。）
　　　　　　　　　-prune　指出要忽略的目录。 结合-path选项，例如在当前目录下查找‘ index.html ’文件，同时忽略路径下的‘ /www/bin ’目录：
$ find . -path './www/bin' -prune -o -name 'index.html' -print
-path “./www/bin” -prune -o -name 'index.html' -print 是 -path “./www/bin” -a -prune -o -name 'index.html' -print 的简写表达式。按顺序求值，-a 和 -o 都是短路求值，与 shell 的 && 和 || 类似如果 -path “./www/bin” 为真，则求值 -prune , -prune 返回真，“与”逻辑表达式为真；否则不求值 -prune，与逻辑表达式为假。如果 -path “/usr/sam” -a -prune 为假，则求值 -name。-name返回真，“或”逻辑表达式为真；否则不求值 -name，“或”逻辑表达式为真。
（因此，其他的查询条件必须放在-o之后！而-path选项一般放在最前，-prune和-o也要连用）
避开多个文件可以用：
$ find /usr (-path /usr/dir1 -o -path /usr/dir2 ) -prune -o -name "index.html" -print
‘ (’ 与 ‘ ) ’ 表示转义，及shell不再对括号做特殊解释，这里转义后的括号表示结合。
（注意，路径后不能在加 ‘/’ 号！）
　　　　　　　　　-depth　先匹配所有的文件，再在子目录中查找。即广度遍历查询。注意加上-depth选项后，-prune选项失效。
　　　　　　　　　-maxdepth n　　设定递归搜索的目录层级，1为在当前目录下，即不递归搜索。
　　　5、查询执行：
　　　　　　　　　-exec command {} ;　对查询的结果文件执行command 命令，{}中就包含着查询结果。
　　　　　　　　　-ok command {} ;　与-exec有着相同的操作，不同的是，在执行command命令时会有交互提示你是否执行，是一种相对安全的做法。
在使用find命令的-exec选项处理匹配到的文件时， find命令将所有匹配到的文件一起传递给exec执行。但有些系统对能够传递给exec的命令长度有限制，这样在find命令运行几分钟之后，就会出现溢出错误。错误信息通常是“参数列太长”或“参数列溢出”。在有些系统中，使用-exec选项会为处理每一个匹配到的文件而发起一个相应的进程，并非将匹配到的文件全部作为参数一次执行；这样在有些情况下就会出现进程过多，系统性能下降的问题，因而效率不高。转
　　　　　　　　　xargs　与pipe连用，对匹配的文件执行操作。
find命令把匹配到的文件传递给xargs命令，而xargs命令每次只获取一部分文件而不是全部，不像-exec选项那样。这样它可以先处理最先获取的一部分文件，然后是下一批，并如此继续下去。使用xargs命令则只有一个进程。转
例如，在当前路径下的普通文件中搜索‘ admin ’：
$ find . -type f -print | xargs grep 'admin'
对于一个参数的命令，xargs隐含传递匹配文件，如上述grep files，将结果隐含传递给files。如是多参数命令，如cp file dir，则要利用xargs的 -i 选项，例如将上述查询的问价copy至‘ /usr ’：
$ find . -type f -print | xargs -i cp {} /usr/
加上 -i 选项后，xargs将匹配的结果传递给 {} ，这样就方便多参数命令的使用了。

对于crontab 的解释: 转载自https://www.cnblogs.com/ftl1012/p/crontab.html

usage: crontab [-u user] file
crontab [-u user] [ -e | -l | -r ]
(default operation is replace, per 1003.2)
-e (edit user's crontab)
-l (list user's crontab)
-r (delete user's crontab)
-i (prompt before deleting user's crontab)
-s (s定时任务分类

Linux下的任务调度分为两类，系统任务调度和用户任务调度。
系统任务调度：系统周期性所要执行的工作，比如写缓存数据到硬盘、日志清理等。
在/etc/crontab文件，这个就是系统任务调度的配置文件。
用户任务调度：用户定期要执行的工作，比如用户数据备份、定时邮件提醒等。
用户可以使用 crontab 工具来定制自己的计划任务。
在crontab 文件都被保存在/var/spool/cron目录中。其文件名与用户名一致
1.系统定时任务：例如清理系统日志，清理系统缓存 -->不过多的关注
查询系统定时处理任务的路径：
路径1：
cd /etc/logrotate.d/ -->可以写定时任务
less syslog
路径2：
cat /etc/crontab -->不推荐使用，但是可以看格式
路径3：
ls /etc/ | grep cron*
anacrontab
cron.d -->同路径2 ，可以写定时任务
cron.daily
cron.deny -->控制普通用户使用定时任务crontab
cron.hourly
cron.monthly
crontab
cron.weekly
2.用户的定时任务 -->关注重点
crontab文件内容分析
cat /etc/crontabelinux context)

星号（*）：代表所有可能的值，如month字段为星号，则表示在满足其它字段的制约条件后每月都执行该命令操作。
逗号（,）：可以用逗号隔开的值指定一个列表范围，例如，“1,2,5,7,8,9”
中杠（-）：可以用整数之间的中杠表示一个整数范围，例如“2-6”表示“2,3,4,5,6”
正斜线（/）：可以用正斜线指定时间的间隔频率，例如“0-23/2”表示每两小时执行一次。
小 结：
数字的表示最好用2为阿拉伯数字显示
周和日最好不要同时用
定时任务要加注解
可以定向到日志文件或者空文件
定时任务一定是绝对路径，且目录必须存在才能出结果
crontab 服务一定要开启运行
crontab日志路径

【日志是按照天排列的】

ll /var/log/cron*
/var/log/cron只会记录是否执行了某些计划的脚本，但是具体执行是否正确以及脚本执行过程中的一些信息则linux会每次都发邮件到该用户下。

常用的命令展示
安装crontab：
1
yum install crontabs
crontab服务操作说明：
1
2
3
4
5
6
7
/sbin/service crond start //启动服务

/sbin/service crond stop //关闭服务

/sbin/service crond restart //重启服务

/sbin/service crond reload //重新载入配置
查看crontab服务状态：
1
service crond status
手动启动crontab服务：
1
service crond status
查看crontab服务是否已设置为开机启动，执行命令：
1
2
方法一： 界面启动 ntsysv
方法二： 加入开机自动启动： chkconfig –level 35 crond on
crontab -l查看定时任务列表
编辑定时任务
1
crontab –e
1
==》vim /var/spool/cron/root
每隔2分钟输出时间到文件
1
*/2 * * * * echo date >> $HOME>test.txt
crontab -r 删除定时任务
1
2
3
==> 从/var/spool/cron目录中删除用户的crontab文件
==> 如果不指定用户，则默认删除当前用户的crontab文件
crontab –i 在删除用户的crontab文件时给确认提示
备份crontab文件
1
crontab -l > $HOME/mycron

恢复丢失的crontab文件
1
2
3
如果不小心误删了crontab文件，假设你在自己的$ H O M E目录下还有一个备份，那么可以将其拷贝到/var/spool/cron/，其中是用户名。如果由于权限问题无法完成拷贝，可以用：
crontab 其中，是你在$ H O M E目录中副本的文件名。
有些crontab的变体有些怪异，所以在使用crontab命令时要格外小心。如果遗漏了任何选项，crontab可能会打开一个空文件，或者看起来像是个空文件。这时敲delete键退出，不要按，否则你将丢失crontab文件。
每小时执行/etc/cron.hourly目录内的脚本
0 * * * * root run-parts /etc/cron.hourly
每隔2分钟同步一次互联网时间
echo "*/2 * * * * /usr/bin/ntpstat time.windows.com >/dev/null 2>&1" >> /var/spool/cron/root

每天3-5,17-20每隔30分钟执行一次脚本
echo "*/30 [3-5],[17-20] * * * /bin/sh /home/omc/h.sh >/dev/null 2>&1" >> /var/spool/cron/root

当天23点，第二天0点到凌晨7点 每隔1分钟执行一次脚本

• 23,00-07/1 * * * /bin/sh /home/omc.h.sh

每年的4月份每周的周一到周三的11点执行脚本

00 11 * 4 1-3 /bin/sh /home/omc/h.sh
crontab的注意事项

1. 注意环境变量问题
   在crontab文件中定义多个调度任务时，需要特别注意的一个问题就是环境变量的设置

脚本中涉及文件路径时写全局路径；

脚本执行要用到java或其他环境变量时，通过source命令引入环境变量，如：

cat start_cbp.sh

!/bin/sh

source /etc/profile
export RUN_CONF=/home/d139/conf/platform/cbp/cbp_jboss.conf
/usr/local/jboss-4.0.5/bin/run.sh -c mev &

当手动执行脚本OK，但是crontab死活不执行时。可以尝试在crontab中直接引入环境变量解决问题。

0 * * * * . /etc/profile;/bin/sh /var/www/java/audit_no_count/bin/restart_audit.sh
2. 系统级任务调度与用户级任务调度

root用户的任务调度操作可以通过“crontab –uroot –e”来设置，也可以将调度任务直接写入/etc/crontab文件，需要注意的是，如果要定义一个定时重启系统的任务，就必须将任务放到/etc/crontab文件，即使在root用户下创建一个定时重启系统的任务也是无效的。
3.其他注意事项

当crontab突然失效时，可以尝试/etc/init.d/crond restart解决问题。或者查看日志看某个job有没有执行/报错tail -f /var/log/cron。
千万别乱运行crontab -r。它从Crontab目录（/var/spool/cron）中删除用户的Crontab文件。删除了该用户的所有crontab都没了。
在crontab中%是有特殊含义的，表示换行的意思。如果要用的话必须进行转义%，如经常用的date ‘+%Y%m%d’在crontab里是不会执行的，应该换成date ‘+%Y%m%d’
4. 生产调试定时任务

1.增加执行任务的频率调试
2.调整系统时间调试任务，提前5分钟 -->不用于生产环境
3.通过脚本日志输出调试定时 任务
4.注意一些任务命令带来的问题 -->确保命令的正确性
5.crontab箴言
1.环境变量问题，例如crontab不能识别Java的环境变量
crontab执行shell时，只能识别为数不多的环境变量，普通的环境变量是无法识别的，所以在编写shell时，最好使用export重新声明变量，确保脚本执行。
2.命令的执行最好用脚本
3.脚本权限加/bin/sh，规范路径/server/scripts
4.时间变量用反斜线转义，最好用脚本
5.定时任务添加注释
6.>/dev/null 2>&1 ==>&>/dev/null,别随意打印日志文件
7.定时任务里面的程序脚本尽量用全路径
8.避免不必要的程序以及命令输出
9.定时任务之前添加注释
10.打包到文件目录的上一级