• 我 对logstash 采集过程的理解


    logstash  大致分为三个部分 Input  filter 和 output

    input 采集数据或者其它filebeat 传过来的数据,在input 开始是data数据,出了input 就是event   

               data数据  ------》input -----》 event 事件 -----》query   -------->filter  -------------》output

    logstash 采集过滤和输出的过程

    数据到了input会把原始数据转换成event 事件传送到query ,query 可以基于内存或者磁盘来做,磁盘可以保证数据不丢失,内存是内置大小的,不能设定。

    pipline:pipeline.workers=2  工作线程会从 query 获取数据到filter 过滤再到output, pipline线程是根据batcher 来定时获取的,基于以下两个参数

    pipeline.batch.size: 125
    pipeline.batch.delay: 5

    生活就应该向往美好
  • 相关阅读:
    java中的设计模式
    stack
    最大堆排序
    Starship Troopers
    Tick and Tick
    Last non-zero Digit in N!
    G
    C
    B
    A
  • 原文地址:https://www.cnblogs.com/webnginx/p/13617681.html
Copyright © 2020-2023  润新知