每周一坑dmesg异常和excel列去重

　每周一坑-dmesg异常和excel列去重

　　抓住7月的尾巴，写多一篇博客~~~

　　没想到非常时期，周末还要被业主方抓去干活，幸好占用时间不多 = =

 

一、dmesg异常之缓冲区不足

　   每个月月底的最后一个工作日，我们都会进行一次xx系统月巡检。其中有项是检查开机信息的：

dmesg > /tmp/xxx-bak/202207.dmesg.log

　　刚好想看下该文件内容，咋知道发现报错如下：

 　  先扫盲下，这个玩意干啥的（其实不报错之前我也不知道干啥的，报告模板写啥我就运行啥）：

　　dmesg命令用于显示linux系统开机启动信息，被用于检查和控制内核（kernel）的环形缓冲区（是什么），我们可以从中获得诸如系统架构、cpu、挂载的硬件，RAM等多个运行级别的大量的系统信息（有什么用）

　　当计算机启动时，系统内核（操作系统的核心部分）将会被加载到内存中。在加载的过程中会显示很多的信息，在这些信息中我们可以看到内核检测硬件设备。

　　我发现有两台机器是（一个入口，一个主服务器）这样的，另一台机器（备用服务器）没有这样的报错。而且，是从去年12月开始持续到现在，意味着我周五如果没发现，就会一直写入错误的报错信息，而不是如下图的正常开机信息：

 　　作为一个又懒又菜的人（其实周五还有别的事，忙死 = =），我就把这个问题扔给阿里处理了，工单反馈。一波神操作（授权他们上去看）后，叫我重启机器，直接就解决了。我当然想知道啥原因导致的，于是问个不停。最终归纳如下：

1、问题原因：

　　他们说查看了系统日志：/var/log/dmesg（可以理解成dmesg的持久化：若是开机时来不及查看信息，可利用dmesg来查看。开机信息亦保存在/var/log目录中，名称为dmesg），信息输出是正常的（他边说我边查看验证，确实没错，秉着严谨态度），

　　但是直接执行dmesg异常，目前初步判断是由于缓冲区导致的，也就是说缓冲区不足，搞到这个命令输出失常。

　　最后安慰我，说既然 /var/log/dmesg日志是正常的，其实影响也不大，可以不管，也就是不需要重启。但是我怕人家查系统每月日志巡检记录，还是中午偷偷重启好了。

 

2、解决方法如下：

　（1）先根据文档进行缓冲区大小设置（设置大一点）：https://blog.csdn.net/liu0808/article/details/53161832

　（2）尝试dmesg -c 清除内核环形缓冲区 + 重启机器：

如果设置缓存区大小还是不行的话，只能清除缓存，然后重启重新生成缓存了

注意：这个方法并不是通用的，具体问题具体分析！！

二、excel列去重

　　这两天零碎加班做的事，先在我周五去打球的路上，真的在我骑车的路上，突然来个微信电话（没听到没接）+微信留言，当时想原地爆炸= =，以至于我差点迟到，叫我做WAF放行的业务分析，是否有安全风险，是的话做策略封堵，做个分析给他（幸好第二天跟他确认过，模糊说明下即可）。

        另外一个恶心事，从周五开始叫天天导日志交给一个人，因为我管理的waf控制台导不出按时间粒度的，只能按天，业主方又需要前一天16点到今天16点的。于是只能转移压力到电信了，幸好他们能做，只需要每天3点半左右提醒他们导。

　　然而，今天突然说要按照某个模板，整理恶意攻击且去重的IP，不需要导那么详细，真.恶心我一批。而且原始日志里面有好多个EXCEL文件

 　我参考这个文档弄的：likecs.com/show-182791.html

　 思路：打开每个excel

（1）先数据筛选，去掉白名单放行（白名单就不叫恶意IP啦），留下告警+拦截的IP

（2）根据下图复制IP列，选择不重复的记录，复制到另一列，就是该excel（单个excel）去重后的恶意攻击IP

（3）重复（1）~（2）的步骤，把恶意攻击IP汇总到一个总表，最后在做一次去重，就能交功课了  ——》 不要漏掉这一步，除非你仅仅处理一个excel文件。