• Logstash和Flume-NG Syslog接收小测试


    目前在大规模日志处理平台中常见的日志采集器可以采用Logstash或Flume。这两种日志采集器架构设计理念基本相似,都采用采集-过滤处理-输出的方式。下面对这两种采集器Syslog接收性能做个简单测试,供大家参考。

    •  测试过程

    基本测试过程是使用2台机器,1台负责发送Syslog数据包,一台采集器。

    在采集器上分别安装ELK套件和Apache Flume 1.8.0软件。

    Logstash采集配置如下:

    input {

      udp {

       host => "0.0.0.0"

       port => "514"

       type => "syslog"

       codec => plain { charset => "UTF-8" }

      }

    }

    output {

      elasticsearch { 

          hosts => ["10.0.190.109:9200"] 

          document_type => "syslog"

      }

    }

    Flume-NG采集配置如下:

    a1.sources = r1

    a1.sinks = k1

    a1.channels = c1

    # Describe/configure the source

    a1.sources.r1.type = syslogudp

    a1.sources.r1.port = 5140

    a1.sources.r1.host = 10.0.190.109

    a1.sources.r1.channels = c1

    # Describe the sink

    a1.sinks.k1.type = file_roll

    a1.sinks.k1.channel = c1

    a1.sinks.k1.sink.directory = /opt/flumelog

    # Use a channel which buffers events in memory

    a1.channels.c1.type = memory

    a1.channels.c1.capacity = 1000

    a1.channels.c1.transactionCapacity = 100

    # Bind the source and sink to the channel

    a1.sources.r1.channels = c1

    a1.sinks.k1.channel = c1

    重点来了,从测试机连续发送Syslog数据包,连续发送1000次,多次验证测试结果可以发现:

    ELK中可以基本接收到1000条。

    Flume可以接收到并写入本地文件200到350条之间。上述两者差别主要在于Logstash接收并写入ES中,Flume接收并写入本地文件(写入ES太麻烦,Flume的ES Sink模块不兼容最新的ES版本)。

    但是把配置中a1.sources.r1.type = syslogudp改成a1.sources.r1.type = syslogtcp,在测试机发送tcp格式的syslog数据包基本可以收到1000条。

    以上只是个小小的测试,供大家参考。

  • 相关阅读:
    1.时间复杂度与空间复杂度分析
    数据结构与算法之重头再来
    MySQL时间字段与业务代码取出的时间不一致问题
    [redtiger]在线靶场level3
    win10 卡顿 MsMpEng.exe进程
    react 笔记 局部打印 print
    react table td 自动换行
    kali apt-get update release文件过期
    ubuntu怎么切换到root用户,切换到root账号方法
    winscp连接kali 使用预置密码验证 拒绝访问
  • 原文地址:https://www.cnblogs.com/wishma/p/9888878.html
Copyright © 2020-2023  润新知