• 基于graylog、elasticsearch和mongodb搭建一套日志管理系统


    一、graylog公司基建了解

    1. es版本:2.3.1
         graylog版本:2.4.2 
        mongodb版本:3.2.6
    2. 机器:es一个机房用了12台物理机32核机械盘
    二、elasticsearch 安装、部署

    1.1 下载

    进入要下载的版本的目录,选择.tar.gz文件下载,至当前时间graylog不支持最新6.x版本,所以下载5.x版本
    下载到/home/admin/目录下
    或者下载本地上传到服务器:
    scp -r  elasticsearch-5.6.8.tar.gz  tdops@10.58.10.139:/home/tdops/graylog/elasticsearch

    1.2 安装

    在/home/admin/graylog 下新建elasticsearch主目录,并解压到当前目录

     
    mkdir elasticsearch
    mv elasticsearch-5.6.8.tar.gz elasticsearch/
    cd elasticsearch
    tar -zxvf elasticsearch-5.6.8.tar.gz

    1.3 配置

    在主目录下创建data和logs两个目录用于存储数据和日志:
    mkdir data
    mkdir logs
    修改elasticsearch配置文件 elasticsearch-5.6.8/config/elasticsearch.yml
    cluster.name: my-application #集群名字
    node.name: node-1 #集群中每个节点名字,每个节点必须不同
    path.data: /home/admin/graylog/elasticsearch/data #设置es数据存储地址
    path.logs: /home/admin/graylog/elasticsearch/logs #设置es日志存储地址
    network.host: 0.0.0.0 #开放es的访问ip限制
    discovery.zen.ping.unicast.hosts: ["10.57.30.1","10.57.30.2"] #集群中各个节点的ip
    discovery.zen.minimum_master_nodes: 2 #集群中最低健康节点数量

    1.4 启动和停止

    启动:./bin/elasticsearch -d(后台启动)
    停止:ps -aux | grep elsaticsearch
    或者  jps | grep Elasticsearch    #找到pid
         kill pid #根据pid 杀死进程
     

    二、mongodb 安装、部署

    2.1 下载

    进入要下载的版本的目录,选择.tar.gz文件下载
    下载到/home/admin/目录下
    或本地上传:
    scp -r mongodb-linux-x86_64-rhel70-3.6.5.tgz admin@10.58.12.1:/home/tdops/mongodb

    2.2 安装

    在/home/admin/graylog 下新建mongodb主目录,并解压到当前目录
    mkdir mongodb
    mv mongodb-linux-x86_64-rhel70-3.6.5.tgz mongodb/
    cd mongodb
    tar -zxvf mongodb-linux-x86_64-rhel70-3.6.5.tgz
    2.3 配置
    在主目录下创建data目录用于存储数据:
    mkdir data

    1.4 启动和停止

    启动:nohup ./mongod --dbpath=/home/admin/graylog/mongodb/data >> mongodb.log 2>&1 &
     
    停止:ps -aux | grep mongodb #找到pid
         kill pid #根据pid 杀死进程
      
    验证是否启动:
    curl localhost:27017
    示例
    nohup ./mongod --dbpath=/home/tdops/mongodb/data >> /home/tdops/mongodb/mongodb.log 2>&1 &
    nohup ./mongod --dbpath=/home/tdops/mongodb/data >> /home/tdops/mongodb/mongodb.log --bind_ip=0.0.0.0 2>&1 &  ##开放api接口ip访问限制
     

    三、graylog 安装、部署

    3.1 下载

    进入要下载的版本的目录,选择.tar.gz文件下载
    下载到/home/admin/目录下
    或本地上传:
    scp -r graylog-2.4.5.tgz admin@10.58.12.1:/home/tdops/graylog 

    3.2 安装

    在/home/admin/graylog/ 下新建graylog主目录,并解压到当前目录
     
    mkdir graylog
    mv graylog-2.4.5.tgz graylog/
    cd graylog
    tar -zxvf graylog-2.4.5.tgz
     

    2.3 配置

    在主目录下创建data目录用于存储数据:
    graylog读取的配置文件路径为:/etc/graylog/server/server.conf,所以用root账户新建/etc/graylog文件夹,将该文件夹用户改为admin.
    sudo chown -R tdops server
    cd /etc/graylog/server
    vim node-id
    chmod 777 server.conf 修改可读写权限
    cp /home/admin/graylog/graylog/graylog-2.4.5/graylog.conf.example /etc/graylog/server/server.conf
     
    #修改server.conf配置:
    password_secret = adminadminadminadmin #设置登陆密码
    root_password_sha2 = b77f501a5e9697bd36fdc6581d4d1ad41a51855a7222f0b0ba17dac5ce0cbccf #算出密码的sha2:echo -n adminadminadminadmin | shasum -a 256
    rest_listen_uri = http://0.0.0.0:9000/api/ #开放api接口ip访问限制
    web_listen_uri = http://0.0.0.0:9000/ #开放web访问ip限制
      
    # mongodb_uri = mongodb://10.58.2.41:27017/graylog #与es不同机器部署的mongodb,需指定mongodb的IP与端口号
    mongodb_uri = mongodb://localhost/graylog #与es部署在同一台机器上的配置,默认

    1.4 启动和停止

    cd /home/admin/graylog/graylog/graylog-2.4.5/bin
     
    启动: ./graylogctl start
         vim ../log/graylog-server.log #查看日志
    停止:./graylogctl stop
     

    四、graylog接入及使用

    1、各应用的本地化配置文件作如下添加或修改:
    graylog.host=10.57.30.103
    graylog.port=8099
    公司使用的是80端口所以logback.xml略去了
    2、logbak.xml中需做修改:

    五、graylog-api接入

    graylog.api.url=http://10.57.30.1:9000/api
    user=admin
    password=adminadminadminadmin

     六、网页访问

    http://10.57.30.1:9000/search
    admin
    adminadminadminadmin
     

    七、配置收集器

    第一步:配置system/inputs
    第二步:选择GELF UDP——>lanch new input 弹出新建UDP的配置;
    第三步:node选择当前节点,title 任意名称,port 端口号:12201,点击save;
     
    例2:配置收集器geft-http 端口12205;测试日志是否收集成功:配置GELF HTTP采集log
    在终端输入:curl -XPOST http://10.58.12.1:12205/gelf  -p0 -d '{"short_message":"Hello there", "host":"example.org", "facility":"test", "_foo":"bar"}'
    在搜索日志中搜索到即可表示成功。
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  • 相关阅读:
    Java在ACM中的应用
    acm->stl
    残缺棋盘--状压DP
    EOJ Monthly 2019.3 A
    【CF1141E】Superhero Battle
    AtCoder Grant Contest 10.F 博弈
    莫比乌斯反演总结
    P2257 YY的GCD
    BZOJ1011 莫比乌斯反演(基础题
    HDU1695 莫比乌斯反演
  • 原文地址:https://www.cnblogs.com/molity88/p/molity.html
Copyright © 2020-2023  润新知