• ElasticSearch7.3学习(三十一)Logstash基础学习


    一、Logstash基本介绍

    Logstash 是一个功能强大的工具,可与各种部署集成。 它提供了大量插件,可帮助你解析,丰富,转换和缓冲来自各种来源的数据(文件、数据库......)。logstash简单来说就是一个数据抽取工具,将数据从一个地方转移到另一个地方。

    Logstash 是 Elastic 栈非常重要的一部分,但是它不仅仅为 Elasticsearch 所使用。它可以介绍广泛的各种数据源。Logstash 可以帮利用它自己的Filter帮我们对数据进行解析,丰富,转换等。最后,它可以把自己的数据输出到各种需要的数据储存地(redis、kafaka等等),这其中一般主要就是Elasticsearch。

    二、windows下安装

    在windows下安装及其简单,下载zip包解压即可。

    注意:如果要推送的数据到es,那么一定要和es的版本相同

    下载地址:https://www.elastic.co/cn/downloads/logstash

    三、配置文件

    logstash之所以功能强大和流行,与其丰富的过滤器插件是分不开的,过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理,甚至添加独特的事件到后续流程中。

    Logstash配置文件有如下三部分组成,其中input、output部分是必须配置,filter部分是可选配置,而filter就是过滤器插件,可以在这部分实现各种日志过滤功能。

    input {
        #输入插件
    }
    filter {
        #过滤匹配插件
    }
    output {
        #输出插件
    }

    四、启动logstash

    找到logstash.bat文件的目录,打开控制台。

    为了好维护,下面这种写法一般不推荐。

    logstash.bat -e 'input{stdin{}} output{stdout{}}'

    在config目录下面新建文件test1.conf,并将下方内容写入。意思是将控制台输入的内容输出到控制台

    注意:内容的格式不能乱,缩进等等,若内容没问题的话,启动不起来一般都是格式的问题

    input{
        stdin{
           
        }
    }
    output {
        stdout{
            codec=>rubydebug    
        }
    }

    运行上方命令,时间较长稍微等一下

    logstash.bat -f ../config/test1.conf

    启动成功界面如下

    接下来在控制台输入hello world,返回结果如下

    返回结果解析

    • message:输出的结果
    • host:主机名
    • @version:版本号
    • @timestamp:当前时间戳
  • 相关阅读:
    20200824
    Redis
    vs2012快捷键教程
    OpenCV 2.4+ C++ SVM介绍
    隐马尔科夫模型
    hu矩
    手势跟踪
    混合高斯模型GMM
    排序算法
    聚类——混合高斯模型 Gaussian Mixture Model
  • 原文地址:https://www.cnblogs.com/xiaoyh/p/16270512.html
Copyright © 2020-2023  润新知