排查mongdb宕机，无法启动的问题

点击Edit index Set

1.检查磁盘空间：df -h 查看磁盘使用空间情况；

发现某个区的磁盘已满；

追踪磁盘已满的大文件 sudo du –sh *

 进入elasticsearch文件中，追踪占磁盘大的文件：

百度搜索发现，网上说当日志发送到ELK之后，Elasticsearch随着日志的增加，占用磁盘量会越来越大 ，可能会需要一些配置在哪里订起自动删除类的，或者限定一下空间占用大小，搜索参考文档 https://www.cnblogs.com/songxingzhu/p/10213230.html

由于mongdb不确定是否删了某个文件，干脆整个删除，重新解压了一个mongodb包

进入：/home/tdops/graylog/mongodb

tar -zxvf mongodb-linux-x86_64-rhel70-3.6.5

删除之前的data文件 rm -rf data

重新创建文件夹 mkdir data

删除占用磁盘空间的tar安装包，启动mongdb

启动：nohup ./mongod --dbpath=/home/tdops/graylog/mongodb/data >> mongodb.log 2>&1 &

检测启动是否OK：curl localhost:27017

 

启动es;

启动graylog;

清理graylog-server的日志文件，cd graylog-2.4.5/log  | echo > graylog-server.log （这里说明不要用rm -rf file）;

 

在web界面上进行设置elasticsearch日志的大小，开启自动删除索引配置；点击system/indices,修改Default index set

点击Edit index Set

 部署了集群配置，两台elasticsearch，所以这里配置“2“；

Select rotation strategy 选择按照“index size”，由于测试机硬盘20G,暂时分配1G；

Select rotation strategy 选择 Delete index ,Max number of indices 配置“2”；（当索引创建数达到了2的时候，自动删除最早的那个索引日志）；

这个时候发现磁盘空间还是已满的状态；为什么呢？到底是什么还占用了磁盘呢？

输入命令，查看索引还在，手动删除掉red不可用的索引：

curl http://127.0.0.1:9200/_cat/indices?

curl http://127.0.0.1:9200/_cat/indices?v

curl -XDELETE http://127.0.0.1:9200/graylog_2

curl http://127.0.0.1:9200/_cat/indices?v

curl -XDELETE http://127.0.0.1:9200/test

curl http://127.0.0.1:9200/_cat/indices?v

curl http://127.0.0.1:9200/_cat/health

 

查看到磁盘空间在正常范围；

同时可以web界面上手动进行删除：

点击maintenance

1.recalculate index ranges 重新计算索引范围

2.rotate actice write index 旋转活动写索引，创建新的可活动索引；

 

web界面查看，搜索不到日志，并未发现异常警告；

配置input接收器：点击system/inputs ,选择GELF UDP，新建Launch new input ,端口号：12201；看到收取正常“RUNNING”表示ok了

 

配置完成，理应收取到应用的日志；

由于测试过程曾重复配置了端口号为12201的收集器，造成某个收集器没有正常”RUNNING”，直接被我给delete掉了，产出以下问题：

1.直观问题：搜取不到应用日志；

2.看到web界面上只有input输入，发现output 0msg/s，重新配置一下就好了；

3.图片为正常情况；