转载自https://www.cnblogs.com/yj411511/p/11080556.html
学习笔记：CentOS7学习之十七： Linux计划任务与日志的管理
本文用于记录学习体会、心得，兼做笔记使用，方便以后复习总结。内容基本完全参考学神教育教材，图片大多取材自学神教育资料，在此非常感谢MK老师和学神教育的优质教学。希望各位因学习需求而要进行转载时，能申明出处为学神教育，谢谢各位！
17.1 计划任务-at-cron-计划任务使用方法
计划任务的作用：是做一些周期性的任务，在生产中的主要用来定期备份数据
CROND：这个守护进程是为了周期性执行任务或处理等待事件而存在
任务调度分两种：系统任务调度，用户任务调度
计划任务的安排方式分两种:
- 一种是定时性的，也就是例行。就是每隔一定的周期就要重复来做这个事情，通过at实现
- 一种是突发性的，就是这次做完了这个事，就没有下一次了，临时决定，只执行一次的任务，通过crontab实现
at和crontab这两个命令：
- at：它是一个可以处理仅执行一次就结束的指令
- crontab：它是会把你指定的工作或任务，比如：脚本等，按照你设定的周期一直循环执行下去
17.1.1 at计划任务的使用
语法格式： at 时间 ；服务：atd
如下所示：
centos7下
[root@centos-7-24 ~]# systemctl start atd # 启动atd服务
[root@centos-7-24 ~]# systemctl status atd # 查看atd服务状态
● atd.service - Job spooling tools
Loaded: loaded (/usr/lib/systemd/system/atd.service; enabled; vendor preset: enabled)
Active: active (running) since 五 2019-06-21 00:11:10 CST; 3min 37s ago #状态为active表示已经启动
Main PID: 7149 (atd)
Tasks: 1
CGroup: /system.slice/atd.service
└─7149 /usr/sbin/atd -f
6月 21 00:11:10 centos-7-24 systemd[1]: Started Job spooling tools.
[root@centos-7-24 ~]# systemctl enable atd #将atd服务加入开机启动
[root@centos-7-24 ~]# systemctl list-unit-files --type service|grep atd #查看atd服务开机状态，显示enable，成功
atd.service enabled
rpc-statd-notify.service static
rpc-statd.service static
centos6下
[root@centos6-22 ~]# service atd start #启动atd服务
[root@centos6-22 ~]# service atd status #查看atd服务状态
atd (pid 11139) is running...
[root@centos6-22 ~]# chkconfig --list | grep atd #查看atd自启动设置
atd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
[root@centos6-22 ~]# chkconfig atd on #开启atd服务开机自启动
[root@centos6-22 ~]# chkconfig --list | grep atd #在runlevel 2、3、4、5下均为on说明开机自启动已经设置好了
atd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
实例：使用at创建计划任务
[root@centos6-22 ~]# date #查看当前时间
Fri Jun 21 00:36:36 PDT 2019
[root@centos6-22 ~]# at 00:39
at> mkdir /test #输入需要执行的命令
at> touch /test/attest1.txt
at> <EOT> #crtl+D结束
job 1 at 2019-06-21 00:39
[root@centos6-22 ~]# at -l #查看计划任务
1 2019-06-21 00:39 a root
[root@centos6-22 ~]# atq #查看计划任务
1 2019-06-21 00:39 a root
[root@centos6-22 ~]# ll /test/ #查看发现执行成功
total 0
-rw-r--r--. 1 root root 0 Jun 21 00:39 attest1.txt
[root@centos6-22 ~]# at -l #执行完成后，计划任务清空
17.1.2 查看和删除at将要执行的计划任务
查看，只能看到还没有执行的。如果这个任务已经开始执行或者执行完成了，是看不到的
如下所示：
[root@centos6-22 ~]# at 03:20am #创建at任务
at> rm -rf /test/attest1.txt
at> cp /etc/passwd /test/
at> echo "ok"
at> <EOT>
job 2 at 2019-06-21 03:20
[root@centos6-22 ~]# at -l #查看at任务列表
2 2019-06-21 03:20 a root
at任务列表说明
| 任务编号 | 执行的时间 | 队列 | 执行者 |
|---|---|---|---|
| 2 | 2019-06-21 03:20 | a | root |
[root@centos6-22 ~]# at -c 2 #查看编号为2的at任务详情
#!/bin/sh
# atrun uid=0 gid=0
# mail yangjie 0
umask 22
HOSTNAME=centos6-22; export HOSTNAME
SHELL=/bin/bash; export SHELL
HISTSIZE=1000; export HISTSIZE
USER=root; export USER
LS_COLORS=rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=01;05;37;41:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arj=01;31:*.taz=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lz=01;31:*.xz=01;31:*.bz2=01;31:*.tbz=01;31:*.tbz2=01;31:*.bz=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.rar=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=01;36:*.au=01;36:*.flac=01;36:*.mid=01;36:*.midi=01;36:*.mka=01;36:*.mp3=01;36:*.mpc=01;36:*.ogg=01;36:*.ra=01;36:*.wav=01;36:*.axa=01;36:*.oga=01;36:*.spx=01;36:*.xspf=01;36:; export LS_COLORS
MAIL=/var/spool/mail/root; export MAIL
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin; export PATH
PWD=/root; export PWD
LANG=en_US.UTF-8; export LANG
SSH_ASKPASS=/usr/libexec/openssh/gnome-ssh-askpass; export SSH_ASKPASS
HISTCONTROL=ignoredups; export HISTCONTROL
SHLVL=1; export SHLVL
HOME=/root; export HOME
LOGNAME=root; export LOGNAME
LESSOPEN=||/usr/bin/lesspipe.sh %s; export LESSOPEN
G_BROKEN_FILENAMES=1; export G_BROKEN_FILENAMES
XAUTHORITY=/root/.xauth9hNSXA; export XAUTHORITY
cd /root || {
echo 'Execution directory inaccessible' >&2
exit 1
}
${SHELL:-/bin/sh} << 'marcinDELIMITER44b61201' #这里时at任务的详细类容
rm -rf /test/attest1.txt
cp /etc/passwd /test/
echo "ok"
marcinDELIMITER44b61201
[root@centos6-22 ~]# ls /var/spool/at/ #at计划任务在/var/spool文件夹下
a00002018d02ec spool
[root@centos6-22 ~]# tail -5 /var/spool/at/a00002018d02ec #查看末尾5行就能查看任务详细内容
rm -rf /test/attest1.txt
cp /etc/passwd /test/
echo "ok"
marcinDELIMITER44b61201
删除at计划任务
语法： atrm 任务编号
[root@centos6-22 ~]# at -l
3 2019-06-21 04:00 a root
2 2019-06-21 03:20 a root
[root@centos6-22 ~]# atrm 3 #删除at定时任务3
[root@centos6-22 ~]# at -l
2 2019-06-21 03:20 a root
17.1.3 crontab定时任务的使用
crond命令定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作
cron是一个linux下的定时执行工具，可以在无需人工干预的情况下运行作业。
linux任务调度的工作主要分为以下两类：
系统执行的工作：系统周期性所要执行的工作，如更新whatis数据库 updatedb数据库，日志定期切割，收集系统状态信息，/tmp定期清理
用户执行的工作：定时备份数据库等
启动crond服务：
[root@CentOS 7-23 ~]# systemctl start crond #启动crond服务
[root@CentOS 7-23 ~]# systemctl enable crond #设置crond开机启动
17.1.4 cron命令参数介绍
crontab的参数：
| crontab -u hr | #指定hr用户的cron服务 |
|---|---|
| crontab -l | #列出当前用户下的cron服务的详细内容 |
| crontab -u yangjie -l | #列出指定用户yangjie下的cron服务的详细内容 |
| crontab -r | #删除cron服务 |
| crontab -e | #编辑cron服务 |
例如：
crontab -u root -l # root查看自己的cron计划任务
crontab -u san -r # root想删除san的cron计划任务
cron -e 编辑时的语法,如下图所示：
星期日用0或7表示
一行对应一个任务，特殊符号的含义:
| * | 代表取值范围内的数字 | (任意/每) |
|---|---|---|
| / | 指定时间的间隔频率 | */10 0-23/2 |
| - | 代表从某个数字到某个数字 | 8-17 |
| ， | 分开几个离散的数字 | 6,10-13,20 |
17.1.5 创建计划任务
例1：每天凌晨2点1分开始备份数据
[root@CentOS 7-23 ~]# crontab -e #创建当前用户root的定时任务
...
1 2 * * * tar czvf /opt/grub2.tar.gz /boot/grub2
...
no crontab for root - using an empty one
crontab: installing new crontab
[root@CentOS 7-23 ~]# crontab -u yangjie -l #查看用户yangjie的定时任务
30 0 * * 0 cp /etc/passwd /home/yangjie
注：所有用户的计划任务，都会在/var/spool/cron/下产生对应的文件
[root@CentOS 7-23 ~]# ll /var/spool/cron
总用量 8
-rw-------. 1 root root 49 6月 22 00:27 root
-rw-------. 1 root root 40 6月 22 00:37 yangjie
17.1.6 系统级别的计划任务
[root@CentOS 7-23 ~]# ll /etc/crontab #查看系统级别的定时任务
-rw-r--r--. 1 root root 451 6月 10 2014 /etc/crontab
[root@CentOS 7-23 ~]# vim /etc/crontab #查看系统界别的定时任务列表
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
# For details see man 4 crontabs
# Example of job definition:
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * user-name command to be executed
也可以直接在/etc/crontab中添加计划任务
使用crontab命令的注意事项：
环境变量的问题
清理你的邮件日志 ，比如使用重定向 >/dev/null 2>&1
[root@CentOS 7-23 ~]# ll /etc/cron*
-rw-------. 1 root root 0 11月 20 2018 /etc/cron.deny #控制用户是否能做计划任务的文件;
-rw-r--r--. 1 root root 451 6月 22 00:40 /etc/crontab #主配置文件 也可添加任务;
/etc/cron.d: #是系统自动定期需要做的任务，但是又不是按小时，按天，按星期，按月来执行的，那么就放在这个目录下面。
总用量 16
-rw-r--r--. 1 root root 128 11月 20 2018 0hourly
-rw-r--r--. 1 root root 108 10月 30 2018 raid-check
-rw-r--r--. 1 root root 459 10月 16 2018 sa-update
-rw-------. 1 root root 235 10月 31 2018 sysstat
/etc/cron.daily: #每天执行的文件在这个目录下面
总用量 12
-rwx------. 1 root root 219 10月 31 2018 logrotate
-rwxr-xr-x. 1 root root 618 10月 30 2018 man-db.cron
-rwx------. 1 root root 208 4月 11 2018 mlocate
/etc/cron.hourly: #每小时执行的文件在这个目录下
总用量 8
还有：
cron.monthly/ #每月执行的脚本;
cron.weekly/ #每周执行的脚本;
17.1.7 常见的计划任务写法和案例
1、每天晚上21:00 重启apache
0 21 * * * systemctl restart httpd # 0 21 * * * /etc/init.d/httpd restart
2、每月1、10、22日的4 : 45重启apache
45 4 1,10,22 * * /etc/init.d/httpd restart
3、每月1到10日的4 : 45重启apache
45 4 1-10 * * /etc/init.d/httpd restart
4、每隔两天的上午8点到11点的第3和第15分钟重启apache
3,15 8-11 */2 * * /etc/init.d/httpd restart
5、晚上11点到早上7点之间，每隔一小时重启apache
0 23-7/1 * * * /etc/init.d/httpd restart
6、周一到周五每天晚上 21:15 寄一封信给 root@panda:
15 21 * * 1-5 mail -s "hi" root@panda < /etc/fstab
7、案例要求：
每天2：00备份/etc/目录到/tmp/backup下面
将备份命令写入一个脚本中
每天备份文件名要求格式： 2017-08-19_etc.tar.gz
在执行计划任务时，不要输出任务信息
存放备份内容的目录要求只保留三天的数
[root@CentOS 7-23 ~]# mkdir /tmp/backup #创建/tmp/backup文件夹
[root@CentOS 7-23 ~]# vim backup.sh #编辑backup脚本
#!/bin/bash
tar -czvf /tmp/backup/`date +'%Y-%m-%d'`_etc.tar.gz /etc/ #创建以日期+_etc.tar.gz命名的/etc/归档文件
find /tmp/backup/ -name *_etc.tar.gz -mtime +3 -exec rm -rf {}; #删除/tmp/backup下修改日期超过3天的归档文件
[root@CentOS 7-23 ~]# chmod 755 backup.sh #修改backup.sh文件的执行权限
[root@CentOS 7-23 ~]# crontab -u root -e #为用户root添加定时任务
1 2 * * * tar czxf /opt/grub2.tar.gz /boot/grub2
0 2 * * * /root/backup.sh & > /dev/null #明天02：00执行backup.sh同时不显示任何信息
crontab: installing new crontab
[root@CentOS 7-23 ~]# crontab -l #查看定时任务列表
1 2 * * * tar czxf /opt/grub2.tar.gz /boot/grub2
0 2 * * * /root/backup.sh & > /dev/null
17.2 日志的种类和记录的方式-自定义ssh服务日志类型和存储位置
在centos7中，系统日志消息由两个服务负责处理：systemd-journald和rsyslog
17.2.1 常见日志文件的作用
系统日志文件概述：/var/log目录保管由rsyslog维护的，里面存放的一些特定于系统和服务的日志文件
| 日志文件 | 用途 |
|---|---|
| /var/log/message | 大多数系统日志消息记录在此处。有也例外的：如与身份验证，电子邮件处理相关的定期作业任务等 |
| /var/log/secure | 安全和身份验证相关的消息和登录失败的日志文件。 ssh远程连接产生的日志 |
| /var/log/maillog | 与邮件服务器相关的消息日志文件 |
| /var/log/cron | 与定期执行任务相关的日志文件 |
| /var/log/boot.log | 与系统启动相关的消息记录 |
| /var/log/dmesg | 与系统启动相关的消息记录 |
例1：查看哪个IP地址经常暴力破解系统用户密码
[root@centos-7-24 ~]# ssh root@192.168.234.23 #在24上远程登陆23，故意输错三次密码
The authenticity of host '192.168.234.23 (192.168.234.23)' can't be established.
ECDSA key fingerprint is SHA256:y4YpS7A4EB9G7GdT8weTstd5C4Y7iic8CoeTUy7Dc04.
ECDSA key fingerprint is MD5:32:66:6e:7a:76:ef:d7:c4:e9:0a:d3:f8:fe:33:7c:11.
Are you sure you want to continue connecting (yes/no)? y
Please type 'yes' or 'no': yes
Warning: Permanently added '192.168.234.23' (ECDSA) to the list of known hosts.
root@192.168.234.23's password:
Permission denied, please try again.
root@192.168.234.23's password:
Permission denied, please try again.
root@192.168.234.23's password:
Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
[root@CentOS 7-23 ~]# grep Failed /var/log/secure #在23上查看登陆失败信息
Jun 24 21:44:03 CentOS 7-23 sshd[18379]: Failed password for root from 192.168.234.24 port 59360 ssh2
Jun 24 21:44:09 CentOS 7-23 sshd[18379]: Failed password for root from 192.168.234.24 port 59360 ssh2
Jun 24 21:44:13 CentOS 7-23 sshd[18379]: Failed password for root from 192.168.234.24 port 59360 ssh2
[root@CentOS 7-23 ~]# grep Failed /var/log/secure|awk '{print $12}'|uniq -c
#awk '{print $11}' #以空格做为分隔符，打印第11列的数据
#uniq命令用于报告或忽略文件中的重复行，-c或——count：在每列旁边显示该行重复出现的次数；
3 192.168.234.24
例2：/var/log/wtmp文件的作用
/var/log/wtmp也是一个二进制文件，记录每个用户的登录次数和持续时间等信息。
可以用last命令输出wtmp中内容： last 显示到目前为止，成功登录系统的记录
[root@CentOS 7-23 ~]# last #使用last查看系统最近的登陆信息
yangjie pts/0 :0 Mon Jun 24 21:40 still logged in
yangjie :0 :0 Mon Jun 24 21:40 still logged in
reboot system boot 3.10.0-693.el7.x Mon Jun 24 21:39 - 21:51 (00:12)
yangjie pts/1 :0 Sat Jun 22 01:08 - 01:34 (00:26)
yangjie pts/0 :0 Sat Jun 22 00:18 - 01:34 (01:15)
yangjie :0 :0 Sat Jun 22 00:18 - down (01:16)
[root@CentOS 7-23 ~]# last -f /var/log/wtmp
yangjie pts/0 :0 Mon Jun 24 21:40 still logged in
yangjie :0 :0 Mon Jun 24 21:40 still logged in
reboot system boot 3.10.0-693.el7.x Mon Jun 24 21:39 - 21:54 (00:15)
yangjie pts/1 :0 Sat Jun 22 01:08 - 01:34 (00:26)
yangjie pts/0 :0 Sat Jun 22 00:18 - 01:34 (01:15)
yangjie :0 :0 Sat Jun 22 00:18 - down (01:16)
例3：使用 /var/log/btmp文件查看暴力破解系统的用户
/var/log/btmp文件是记录错误登录系统的日志。如果发现/var/log/btmp日志文件比较大，大于1M，就算大了，就说明很多人在暴力破解ssh服务，此日志需要使用lastb程序查看
[root@CentOS 7-23 ~]# ll /var/log/btmp
-rw-------. 1 root utmp 1536 6月 24 21:44 /var/log/btmp
[root@CentOS 7-23 ~]# lastb
root ssh:notty 192.168.234.24 Mon Jun 24 21:44 - 21:44 (00:00)
root ssh:notty 192.168.234.24 Mon Jun 24 21:44 - 21:44 (00:00)
root ssh:notty 192.168.234.24 Mon Jun 24 21:44 - 21:44 (00:00)
root pts/0 Mon Jun 24 21:42 - 21:42 (00:00)
btmp begins Mon Jun 24 21:42:00 2019
#发现后，使用防火墙，拒绝掉：命令如下：
iptables -A INPUT -i eth0 -s. 192.168.234.24 -j DROP
17.2.2 日志的记录方式
日志的命名规则：分类-》级别，形式为：分类.级别，分别说明如下：：
日志的分类:
| 分类 | 说明 |
|---|---|
| daemon | 后台进程相关 |
| kern | 内核产生的信息 |
| lpr | 打印系统产生的 |
| authpriv | 安全认证 |
| cron | 定时相关 |
| 邮件相关 | |
| syslog | 日志服务本身的 |
| news | 新闻系统 |
| local0~7 | 自定义的日志设备 |
备注：local0-local7 8个系统保留的类， 供其它的程序使用或者是用户自定义
日志的级别: 轻>重
| 编码 | 优先级 | 严重性 |
|---|---|---|
| 7 | debug | 信息对开发人员调试应用程序有用，在操作过程中无用 |
| 6 | info | 正常的操作信息，可以收集报告，测量吞吐量等 |
| 5 | notice | 注意，正常但重要的事件 |
| 4 | warning | 警告，提示如果不采取行动。将会发生错误。比如文件系统使用90% |
| 3 | err | 错误，阻止某个模块或程序的功能不能正常使用 |
| 2 | crit | 关键的错误，已经影响了整个系统或软件不能正常工作的信息 |
| 1 | alert | 警报,需要立刻修改的信息 |
| 0 | emerg | 紧急，内核崩溃等严重信息 |
17.2.3 rsyslog日志服务
rhel5 ->服务名称syslog ->配置文件 /etc/syslog.conf
rhel6-7 ->服务名称rsyslog ->配置文件 /etc/rsyslog.conf
查看日志的配置文件信息：
[root@CentOS 7-23 ~]# vim /etc/rsyslog.conf
....
# Provides UDP syslog reception
#$ModLoad imudp
#$UDPServerRun 514 #允许514端口接收使用UDP协议转发过来的日志
# Provides TCP syslog reception
#$ModLoad imtcp
#$InputTCPServerRun 514 #允许514端口接收使用TCP协议转发过来的日志
....
....
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none /var/log/messages
# 所有的类别级别是info以上 除了mail,authpriv,cron
# The authpriv file has restricted access.
authpriv.* /var/log/secure
#所有的认证的信息存放到/var/log/secure
# Log all the mail messages in one place.
mail.* -/var/log/maillog
#所有的邮件相关的信息存放到/var/log/maillog，“- ”号： 邮件的信息比较多,现将数据存储到内存,达到一定大小,全部写到硬盘.有利于减少I/O进程的开销，数据存储在内存,如果关机不当数据消失
# Log cron stuff
cron.* /var/log/cron
#计划任务相关的信息存放到 /var/log/cron
# Everybody gets emergency messages
*.emerg :omusrmsg:*
# Save news errors of level crit and higher in a special file.
uucp,news.crit /var/log/spooler
# Save boot messages also to boot.log
local7.* /var/log/boot.log
#开机时显示的信息存放到/var/log/boot.log
17.2.4 日志输入的规则
.info 大于等于info级别的信息全部记录到某个文件
.=级别 仅记录等于某个级别的日志
例:.=info 只记录info级别的日志
.!级别 除了某个级别意外,记录所有的级别信息
例.!err 除了err外记录所有
.none 指的是排除某个类别 例： mail.none 所有mail类别的日志都不记录
17.2.5 自定义ssh服务的日志类型和存储位置
[root@CentOS 7-23 ~]# vim /etc/rsyslog.conf
#添加：local0.* /var/log/sshd.log #把local0级别的所有日志添加到/var/log/sshd.log
定义ssh服务的日志类别为local0，编辑sshd服务的主配置文件
[root@CentOS 7-23 ~]# vim /etc/ssh/sshd_config
[root@CentOS 7-23 ~]# ll /var/log/sshd.log
-rw-------. 1 root root 151 6月 24 23:12 /var/log/sshd.log #查看发现/var/log下面存在sshd.log文件，说明修改成功
[root@CentOS 7-23 ~]# cat /var/log/sshd.log
Jun 24 23:12:24 CentOS 7-23 sshd[20137]: Server listening on 0.0.0.0 port 22.
Jun 24 23:12:24 CentOS 7-23 sshd[20137]: Server listening on :: port 22.
17.3 日志切割-搭建远程日志收集服务器
17.3.1 日志的切割
在linux下的日志会定期进行滚动增加，我们可以在线对正在进行回滚的日志进行指定大小的切割（动态），如果这个日志是静态的。比如没有应用向里面写内容。那么我们也可以用split工具进行切割；其中Logrotate支持按时间和大小来自动切分,以防止日志文件太大。
logrotate配置文件主要有：
/etc/logrotate.conf 以及 /etc/logrotate.d/ 这个子目录下的明细配置文件。
logrotate的执行由crond服务调用的。
[root@CentOS 7-23 ~]# vim /etc/cron.daily/logrotate #查看logrotate脚本内容
#!/bin/sh
/usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf #调用/etc/logrotate.conf文件
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0
[root@CentOS 7-23 ~]# less /etc/logrotate.conf #查看/etc/logrotate.conf文件
# uncomment this if you want your log files compressed
#compress
# RPM packages drop log rotation information into this directory
include /etc/logrotate.d
# no packages own wtmp and btmp -- we'll rotate them here #配置有wtmp和btmp日志的logrotate日志切割配置
/var/log/wtmp {
monthly
create 0664 root utmp
minsize 1M
rotate 1
}
/var/log/btmp {
missingok
monthly
create 0600 root utmp
rotate 1
}
# system-specific logs may be also be configured here.
[root@CentOS 7-23 ~]# ll /etc/logrotate.d #查看/etc/logrotate.d下的明细配置文件，存在不同服务的logrotate配置文件
总用量 64
-rw-r--r--. 1 root root 91 4月 11 2018 bootlog
-rw-r--r--. 1 root root 160 9月 15 2017 chrony
-rw-r--r--. 1 root root 71 4月 11 2018 cups
-rw-r--r--. 1 root root 172 9月 30 2016 iscsiuiolog
-rw-r--r--. 1 root root 165 5月 29 08:16 libvirtd
-rw-r--r--. 1 root root 142 5月 29 08:16 libvirtd.qemu
-rw-r-----. 1 root named 514 6月 5 03:26 named
-rw-r--r--. 1 root root 106 4月 11 2018 numad
-rw-r--r--. 1 root root 136 6月 10 2014 ppp
-rw-r--r--. 1 root root 408 8月 3 2017 psacct
-rw-r--r--. 1 root root 115 10月 31 2018 samba
-rw-r--r--. 1 root root 68 10月 16 2018 sa-update
-rw-r--r--. 1 root root 224 10月 30 2018 syslog
-rw-r--r--. 1 root root 188 10月 31 2018 vsftpd
-rw-r--r--. 1 root root 100 10月 31 2018 wpa_supplicant
-rw-r--r--. 1 root root 103 11月 5 2018 yum
[root@CentOS 7-23 ~]# cat /etc/logrotate.d/yum #查看yum服务的logrotate配置文件
/var/log/yum.log {
missingok #在日志轮循期间，任何错误将被忽略，例如“文件无法找到”之类的错误
notifempty #如果日志文件为空，轮循不会进行
maxsize 30k #文件超过30k进行日志切割
yearly #每年执行一次日志回滚
create 0600 root root #重建用户为root，属组为root，执行权限为0600的/var/log/yum.log文件
}
logrotate程序每天由cron在指定的时间（/etc/crontab）启动
日志是很大的,如果让日志无限制的记录下去 是一件很可怕的事情，日积月累就有几百兆占用磁盘的空间。
因此需要做日志切割，当日志达到某个特定的大小,我们将日志分类,之前的日志保留一个备份,再产生的日志创建一个同名的文件保存新的日志.
17.3.2 实战演示
编辑配置文件
[root@CentOS 7-23 ~]# vim /etc/logrotate.conf
# rotate log files weekly
weekly
# keep 4 weeks worth of backlogs
rotate 4
# create new (empty) log files after rotating old ones
create
# use date as a suffix of the rotated file
dateext
# uncomment this if you want your log files compressed
#compress
# 说明：(全局参数)
#weekly ： 每周执行回滚，或者说每周执行一次日志回滚
#rotate： 表示日志切分后历史文件最多保存离现在最近的多少份 [rəʊˈteɪt] 旋转
#create ： 指定新创建的文件的权限与所属主与群组
#dateext ： 使用日期为后缀的回滚文件 #可以去/var/log目录下看看
# RPM packages drop log rotation information into this direct
ory
include /etc/logrotate.d
# no packages own wtmp and btmp -- we'll rotate them here
/var/log/wtmp {
monthly
create 0664 root utmp
minsize 1M
rotate 1
}
/var/log/btmp { # 指定的日志文件的名字和路径
missingok #如果文件丢失，将不报错
monthly #每月轮换一次
create 0600 root utmp 设置btmp这个日志文件的权限，属主，属组
minsize 1M #文件超过1M进行回滚，所以大家要知道它不一定每个月都会进行分割，要看这个文件大小来定
rotate 1 #日志切分后历史文件最多保存1份，不含当前使用的日志
}
# system-specific logs may be also be configured here.
其它参数说明：
- monthly: 日志文件将按月轮循。其它可用值为‘daily’，‘weekly’或者‘yearly’。
- rotate 5: 一次将存储5个归档日志。对于第六个归档，时间最久的归档将被删除。
- compress: 在轮循任务完成后，已轮循的归档将使用gzip进行压缩。
- delaycompress: 总是与compress选项一起用，delaycompress选项指示logrotate不要将最近的归档压缩，压缩将在下一次轮循周期进行。这在你或任何软件仍然需要读取最新归档时很有用。
- missingok: 在日志轮循期间，任何错误将被忽略，例如“文件无法找到”之类的错误。
- notifempty: 如果日志文件为空，轮循不会进行。
- create 644 root root: 以指定的权限创建全新的日志文件，同时logrotate也会重命名原始日志文件。
- postrotate/endscript: 在所有其它指令完成后，postrotate和endscript里面指定的命令将被执行。在这种情况下，rsyslogd 进程将立即再次读取其配置并继续运行。
/var/lib/logrotate/status中默认记录logrotate上次轮换日志文件的时间
[root@CentOS 7-23 ~]# vim /var/lib/logrotate/logrotate.status
logrotate state -- version 2
"/var/log/yum.log" 2019-6-20-21:0:0
"/var/log/cups/page_log" 2019-6-20-21:0:0
"/var/log/sa-update.log" 2019-6-20-21:0:0
"/var/log/cups/error_log" 2019-6-20-21:0:0
"/var/named/data/named.run" 2019-6-20-21:0:0
"/var/log/boot.log" 2019-6-20-21:0:0
"/var/log/cups/access_log" 2019-6-20-21:0:0
"/var/log/wtmp" 2019-6-20-21:0:0
"/var/log/chrony/*.log" 2019-6-20-21:0:0
"/var/log/spooler" 2019-6-20-21:0:0
"/var/log/btmp" 2019-6-20-21:0:0
"/var/log/xferlog" 2019-6-20-21:0:0
"/var/log/iscsiuio.log" 2019-6-20-21:0:0
"/var/log/maillog" 2019-6-20-21:0:0
"/var/log/libvirt/libvirtd.log" 2019-6-20-21:0:0
"/var/log/libvirt/qemu/*.log" 2019-6-20-21:0:0
"/var/log/wpa_supplicant.log" 2019-6-20-21:0:0
"/var/log/secure" 2019-6-20-21:0:0
<lib/logrotate/logrotate.status" 25L, 984C 1,1
17.3.3 使用 logrotate 进行ssh日志分割
定义了ssh日志存储在/var/log/sshd的基础上执行：
[root@CentOS 7-23 ~]# vim /etc/logrotate.d/sshd #创建一个sshd的logrotate配置文件
/var/log/sshd.log{
missingok
weekly
create 0600 root root
minsize 1M
rotate 3
}
[root@CentOS 7-23 ~]# systemctl restart rsyslog #重启日志服务
[root@CentOS 7-23 ~]# logrotate -vf /etc/logrotate.d/sshd
#强制轮循，也就是说即使轮循条件没有满足，也可以通过加-f强制让logrotate轮循日志文件
reading config file /etc/logrotate.d/sshd
Allocating hash table for state file, size 15360 B
Handling 1 logs
rotating pattern: /var/log/sshd.log forced from command line (3 rotations)
empty log files are rotated, only log files >= 1048576 bytes are rotated, old logs are removed
considering log /var/log/sshd.log
log needs rotating
rotating log /var/log/sshd.log, log->rotateCount is 3
dateext suffix '-20190625'
glob pattern '-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]'
renaming /var/log/sshd.log.3 to /var/log/sshd.log.4 (rotatecount 3, logstart 1, i 3),
renaming /var/log/sshd.log.2 to /var/log/sshd.log.3 (rotatecount 3, logstart 1, i 2),
renaming /var/log/sshd.log.1 to /var/log/sshd.log.2 (rotatecount 3, logstart 1, i 1),
renaming /var/log/sshd.log.0 to /var/log/sshd.log.1 (rotatecount 3, logstart 1, i 0),
old log /var/log/sshd.log.0 does not exist
fscreate context set to system_u:object_r:var_log_t:s0
renaming /var/log/sshd.log to /var/log/sshd.log.1
creating new /var/log/sshd.log mode = 0600 uid = 0 gid = 0
removing old log /var/log/sshd.log.4
set default create context
[root@CentOS 7-23 ~]# ll /var/log/sshd* #轻质轮循4次后，查看sshd日志文件，发现只保存了最近的4的日志文件
-rw-------. 1 root root 0 6月 25 00:16 /var/log/sshd.log
-rw-------. 1 root root 0 6月 25 00:16 /var/log/sshd.log.1
-rw-------. 1 root root 0 6月 25 00:16 /var/log/sshd.log.2
-rw-------. 1 root root 0 6月 25 00:16 /var/log/sshd.log.3
17.3.4 日志配置步骤总结：
在/etc/rsyslog.conf文件中配置相应等级的存放位置或文件，如配置local0.*等级日志存放到/var/log/sshd.log
在/etc/相应服务的配置文件中配置日志的等级，如在/etc/ssh/sshd_config文件中配置日志等级为local0
在/etc/logrotate.d目录中配置sshd服务的日志分割配置文件，如配置/etc/logrotate.d/ssh文件
17.3.5 配置远程日志服务器-实现日志集中的管理
使用23作为server端配置
[root@CentOS 7-23 ~]# vim /etc/rsyslog.conf #修改rsyslog.conf配置文件
# 改：19 #$ModLoad imtcp
# 20 #$InputTCPServerRun 514
#为：
#19 $ModLoad imtcp
#20 $InputTCPServerRun 514
[root@CentOS 7-23 ~]# systemctl restart rsyslog #重启rsyslog服务
[root@CentOS 7-23 ~]# netstat -anutp|grep 514 #查看服务监听状态
tcp 0 0 0.0.0.0:514 0.0.0.0:* LISTEN 21476/rsyslogd
tcp6 0 0 :::514 :::* LISTEN 21476/rsyslogd
[root@CentOS 7-23 ~]# getenforce
Enforcing
[root@CentOS 7-23 ~]# setenforce 0 #关闭selinux功能
[root@CentOS 7-23 ~]# getenforce
Permissive
[root@CentOS 7-23 ~]# systemctl stop firewalld #关闭防火墙
[root@CentOS 7-23 ~]# systemctl status firewalld #查看防火墙状态
● firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; enabled; vendor preset: enabled)
Active: inactive (dead) since 二 2019-06-25 00:36:54 CST; 23s ago
Docs: man:firewalld(1)
Process: 6523 ExecStart=/usr/sbin/firewalld --nofork --nopid $FIREWALLD_ARGS (code=exited, status=0/SUCCESS)
Main PID: 6523 (code=exited, status=0/SUCCESS)
6月 24 21:39:27 CentOS7-23 systemd[1]: Starting firewalld...
6月 24 21:39:34 CentOS7-23 systemd[1]: Started firewalld ...
6月 25 00:36:54 CentOS 7-23 systemd[1]: Stopping firewall...
6月 25 00:36:54 CentOS 7-23 systemd[1]: Stopped firewalld...
Hint: Some lines were ellipsized, use -l to show in full.
[root@CentOS 7-23 ~]# iptables -F #清空防火墙规则
使用24作为cilent端配置
[root@centos-7-24 ~]# vim /etc/rsyslog.conf #编辑/etc/rsyslog.conf文件
*.* @@192.168.234.23:514 #在末尾添加
[root@centos-7-24 ~]# systemctl restart rsyslog.service #重启rsyslog服务
[root@centos-7-24 ~]# logger "aaaaa" #在客户端24进行测试,使用logger模拟发送的日志“aaaaa”
在23服务端动态查看日志
[root@CentOS 7-23 ~]# tail -f /var/log/messages|grep centos --color
#在23上动态查看message日志文件，发现24日志发送成功
Jun 25 00:50:20 centos-7-24 systemd: Stopping System Logging Service...
Jun 25 00:50:20 centos-7-24 rsyslogd: [origin software="rsyslogd" swVersion="8.24.0-34.el7" x-pid="21170" x-info="http://www.rsyslog.com"] exiting on signal 15.
Jun 25 00:50:20 centos-7-24 systemd: Stopped System Logging Service.
Jun 25 00:50:20 centos-7-24 systemd: Starting System Logging Service...
Jun 25 00:50:20 centos-7-24 rsyslogd: [origin software="rsyslogd" swVersion="8.24.0-34.el7" x-pid="21265" x-info="http://www.rsyslog.com"] start
Jun 25 00:50:20 centos-7-24 systemd: Started System Logging Service.
Jun 25 00:51:03 centos-7-24 yangjie: aaaaa
注：
总结：服务器使用udp协议，客户端只能使用的配置文件中这一行只能有一个@
. @192.168.234.24:514
服务器使用tcp协议，客户端只能使用的配置文件中这一行必须有两个@@
. @@192.168.234.24:514