• ELK


    ELK 在国内互联网行业已经得到广泛的应用,在一些头部互联网企业如淘宝、百度、京东、字节跳动,还有知乎、极光推送、环球易购等平台,国际上例如 Wikipedia ,都在大规模的使用 ES 引擎,为其庞大的用户数据和系统数据包括每天产生的 PB 级别的日志提供索引和搜索支持。


    在一些中小企业,因其免费和开源的特性,ELK 往往是做日志筛查的首选方案。
    其实相较 ELK 强大的搜索性能,日志筛查仅仅是其一项较为基础的应用,在大数据行业,ES 有着更加深度的使用。
    本文只是简单的介绍下ES 较为常见的入门使用场景。


    ELK 一般是指 Elasticsearch 、Logstash、Kibana 三者的组合。

    • Elasicsearch 是其核心引擎
    • Logstash 简单来说是其三件套中的数据解析工具
    • Kibana 提供可视化展示和管理


    下面简单介绍一下其常见的使用场景

     

    一、收集各种日志,例如操作系统级别的日志,应用层的 IIS 日志、Java 程序产生的日志等等,经过 Logstash 解析之后送入 Elasticsearch 中存贮和索引,最后通过 Kibana 方便的进行条件过滤和可视化展示:

     

    以 Web 访问日志为例,可以设置各种过滤条件,例如 在 Filter 中 输入:OS:iOS,可以将日志中包含 OS type 为 iOS 的日志过滤出来;或者通过其他条件如时间段来自由过滤;

     

     

    二、强大的可视化展示

    这是一个电子商务站点的数据,ES 从日志及 DB 中收集的数据,经过索引之后,利用 Kibana 强大的可视化功能将数据配置为一个 Dashboard 进行展示

     

     

     

     

     

    三、有完善的API搜索接口,可以按需深度定制输出不同维度的数据

     

    以上仅仅是一些较为常见的应用,更为深度的使用往往要根据业务形态,配合侧重点进一步的定制。

  • 相关阅读:
    linux各发行版的系统平台信息获取方式调研
    linux各发行版本的系统资源获取方式调研
    查看linux版本系统平台信息方法汇总
    《这么慢,那么美》------ 听见
    学习博客大集锦
    java 面试题及答案
    Java方向如何准备BAT技术面试答案(汇总版)
    java 虚拟机系列-java内存分配、类加载,垃圾回收机制算法
    java 基础概念
    linux 脚本学习--细节问题
  • 原文地址:https://www.cnblogs.com/unchch/p/12019503.html
Copyright © 2020-2023  润新知