SIEM之基于Splunk的日志监控

0x0 概述

Splunk是什么？

Splunk是一个功能强大的机器数据分析平台，包括机器数据的收集、索引、搜索、监控、可视化和告警等。另一方面来说，Splunk是一个时间序列索引器，因为Splunk索引数据的时候，是基于数据时间戳把数据拆分成事件。

Splunk支持从任何IT设备和应用（服务器、路由交换、应用程序、数据库等）收集日志，支持对日志进行高效搜索、索引和可视化。可应用于：IT运营、安全合规、商业分析等。

Splunk功能概述

• 数据获取：Splunk支持各种格式(如XML、JSON)和非结构化机器数据的获取。

• 数据索引：Splunk会自动索引从各方获取的数据，以便在各种条件下进行搜索

• 数据搜索：Splunk 中的搜索包括在仪表板上创建指标或索引的模式。

• Dashboards：以透视表、图表、报告等形式展示搜索结果

• 告警：用于在分析数据中发现的某些异常活动时触发邮件或其他方式的告警推送。

• Splunk 的三大组件：

  • Splunk 转发器：用于收集日志的组件，将日志数据转发给Splunk索引器进行处理和存储。

  • Splunk 索引器：用来索引和存储转发器中的数据，将传入的数据转换为事件，并将其存储在索引中，以便高效地执行搜索操作。

  • Splunk 搜索头：用于与Splunk交互的组件。为用户提供了一个图形用户界面来执行各种操作。用户可以通过输入搜索词来搜索和查询索引器中存储的数据。

0x1 Splunk的安装配置（以Ubuntu为例）

配置要求：

• Ubuntu 20.04 以上系统版本

• 4G或以上内存

• 2核或以上CPU

Splunk企业版下载安装

Splunk企业版提供试用安装版，我们可以去官网下载：

https://www.splunk.com/zh-hans_cn/software/splunk-enterprise.html

创建一个帐号并选择相应的版本进行下载：

这里我们选择.deb版本。

然后在系统上安装：

root@osboxes:/tmp# dpkg -i splunk-8.2.2-87344edfcdb4-linux-2.6-amd64.deb 
Selecting previously unselected package splunk.
(Reading database ... 148598 files and directories currently installed.)
Preparing to unpack splunk-8.2.2-87344edfcdb4-linux-2.6-amd64.deb ...
Unpacking splunk (8.2.2) ...

安装完成后，默认位于/opt/splunk/目录：

初始化Splunk设置

root@osboxes:/tmp# cd /opt/splunk/
root@osboxes:/opt/splunk# ./bin/splunk enable boot-start
SPLUNK GENERAL TERMS

按空格浏览软件协议，按y键同意协议内容。

然后创建Splunk管理员用户和密码：

启动splunk服务：

root@osboxes:/opt/splunk# systemctl start splunk
root@osboxes:/opt/splunk# 

没有报错，说明启动成功。现在可以在浏览器中使用http://serverip:8000访问Splunk的Web UI

输入设置的用户名和密码登录到Web UI页面：

至此，Splunk安装已经完成，下一步就是添加数据

0x3 Splunk数据的获取

点击Web UI中的“添加数据”，进入数据添加引导流程，Splunk提供多种添加数据的方式：

这里我们要添加主机的日志文件进行监控，所以选择“监视-此Splunk平台实例上的文件或端口”：

选择“文件和目录”，点击右侧的浏览

选择日志目录，然后确定：

然后点击下一步：

输入的一些设置，可以根据需求进行设置，如果没有问题，就可以点“检查”：

提示成功，点“开始搜索”：

现在已经成功将数据添加到Splunk进行索引，可以根据需求搜索和监控日志文件了。

0x4 Splunk添加Windows日志监控

首先从Splunk上下载通用转发器：

https://www.splunk.com/zh-hans_cn/download.html

根据需求进行下载：

在Windows主机上安装转发器：

根据需求选择要采集的数据：

根据提示填写必要信息，然后安装

回到Splunk的Web UI界面，点击右侧的“设置”-->“转发和接收”：

新增一个接收设置：

配置接收端口，然后保存：

回到搜索中，就可以搜索Windows的日志了：

0x5 Splunk添加仪表板

在搜索结果的右侧点击“另存为”，可以创建仪表板或者报表、告警。

根据需求填写信息和选项，然后点保存：

这样一个仪表板就创建好了：

更多搜索示例可以参考官方文档：https://docs.splunk.com/Documentation/SCS/current/SearchReference/SearchCommandExamples

更多仪表板的创建和说明可以参考官方文档：https://docs.splunk.com/Documentation/Splunk/8.2.2/Viz/BuildandeditdashboardswithSimplifiedXML#Dashboard_examples

https://www.hetianlab.com/&pk_campaign=bokeyuan-wemedia