collectd+logstash+influxdb+grafana构建windows服务器应用监控系统

一、背景介绍

      本监控方案支持对Windows Server服务器集群的全面监控，方案提供丰富的图表展示， 以及对异常问题进行邮件的实时报警。

      本系统由Collectd（操作系统数据搜集）、logstash（业务数据搜集）、Influxdb（数据存储）、Grafana（图表展示和预警）四个子系统组成。

      Collectd 是一个商业产品，但可以下载其免费版本，安装后已windows服务的形式运行，提供了配置界面（虽然很多模块不支持），总体而言操作比较方便。

      logstash是一个完全开源的工具，可以进行日志收集、分析。

      Influxdb 是一个开源，分布式，时间序列，事件，可度量和无外部依赖的数据库。

      Grafana 是用于可视化大型测量数据的开源程序，他提供了强大和优雅的方式去创建、共享、浏览数据。同时也提供了细致的预警功能。

二、 Collectd

1. 下载Collectd安装包 

        https://ssc-serv.com/download.shtml     

     2. 安装Collectd

        执行exe文件，安装提示完成安装。

 

     3. 修改配置：

      

      由于是免费版本，收集时间不能调整，默认是5分钟。下面是几个重要的配置项：

        a. Hostname（默认会获取主机名，但使用IP会更直观）

        

     b. 内存选项设置，选择上“Report values in percent”选项，数据会以百分比的形式存储。

        

     c. collectd中设置influxDB目标地址，推送数据。

        

 

      4. 修改完成后即可正常使用Collectd

        安装后默认服务是启动的，修改配置后需要重启SSC Service。

三 logstash

 

    1. 下载解压 ：https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip

    2.  配置logstash（收集业务日志）

      日志格式：

1. 10.180.8.88 /parQuery/123 655
2. 10.180.5.77 /orderQuery/pnr 317
3. 10.180.5.77 /orderQuery/pnr 250
4. 10.180.5.77 /parQuery/123 44
5. 10.180.8.88 /parQuery/123 442
6. 10.180.5.77 /orderQuery/pnr 195
7. 10.180.5.77 /orderQuery/pnr 303

       在in目录下创建logstash.conf文件，并按照如下格式配置logstash（解析收集业务日志）：

1. input {
2. file { # 文件路径 path => "F:/projects/Test/*.log" }
3. }
6. filter {
8. #定义数据的格式
9. grok {
10. match => { "message" => "%{IPV4:client} %{GREEDYDATA:request} %{NUMBER:duration}"}
11. }
12. mutate { convert => { "duration" => "integer" }}
14. }
16. output {
17. stdout{codec => json}
19. influxdb {
20. db => "test"       #influxDB数据库名
21. host => "localhost"           #influxDB服务地址
22. port => "8086"                #influxDB端口
23. user => "username"            #influxDB初始化的用户名
24. password => "password"        #influxDB初始化的秘密
25. allow_time_override => true    #允许覆盖time事件中的列？
26. coerce_values => {            # 转换类型
27. "duration" => "integer"
28. }
29. data_points => {                #键/值对的哈希表示要发送到指定数据库的数据
30. "client" => "%{client}"
31. "request" => "%{request}"
32. "duration" => "%{duration}"
33. }
34. }
35. }

    3.在bin目录下创建run.bat，写入一下脚本：        

1. logstash.bat -f logstash.conf

        执行run.bat启动logstash。

四、 Influxdb

• 安装Influxdb

      1. 下载influxdb安装包 

        https://dl.influxdata.com/influxdb/releases/influxdb-1.3.4_windows_amd64.zip

      2. 解压influxdb
       

 

      3. 根目录创建run.bat文件用于启动influxDB，写入“influxd.exe -config F:monitorinfluxdb-1.3.4-1influxdb.conf”，使influxdb.conf文件生效，也可通过环境变量来设置相关配置信息。    

 

• Influxdb 配置

      1.   这三个配置是跟数据存储相关的配置influxdb.conf，默认放在了系统用户根目录下，可以进行修改。

         

2. 打开collectd端口

 

 

• Influxdb 启动

  执行创建的run.bat文件。
   

• Influxdb 注意事项

1. 注意涉及到influxdb 相关数据文件路径及相关读写权限问题，涉及配置文件：$INFLUXDB_HOME/influxdb.conf
2. 在1.3版本以上取消了WEB管理的模块，可使用influx.exe通过命名操作influxDB
3. 创建管理员账号：CREATE USER username WITH PASSWORD password WITH ALL PRIVILEGES
4. Influxdb 查询语句类似普通SQL，但细节差异较多，详见官网
5. 由于数据量较多，当查询数据时，尽量使用limit 对查询结果进行限制，以免数据库崩溃

五、 Grafana

• 安装配置Grafana

   1. 下载Grafana:

https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.5.2.windows-x64.zip

    2. 解压后修改confdefaults.ini文件，配置STMP，预警邮件会使用到    

     3. 执行bingrafana-server.exe文件启动Grafana

 

•  

  Grafana启动页面

  

   默认登录密码为admin/admin，请及时修改为强密码

• Grafana配置数据源

  1. 登录Grafana，点击页面左上角Grafana图标，选择DataSource

        

         2. 点击 Add data source 

        

 3. 填写数据源相关字段

 

 4. 点击Add 即可添加完成。

• Grafana添加数据图表

  1. 添加Dashboards

  

   2. 选择视图样式

         3. 进入编辑模式

         4. 对视图进行编辑

         5. 保存Dashboard。

 

• Grafana添加预警

  1.进入通知频道

     2. 添加频道

 3. 设置频道信息、收件人地址。

 4. 测试并保存。

 5. 进入Dashboard编辑模式，新建预警。

 6. 配置预警信息

 7. 保存完成，接收到预警邮件。

 

• Grafana注意事项

      1. 登录地址为：http://IP:3000/login

      2. 默认登录密码为admin/admin，请及时修改为强密码，添加数据源和数据图表等权限都需要该账户具有编辑权限才可以进行操作，需要用admin进行权限赋予。