虽然本文主要阐释Kibana 在项目中的应用 ，但是我们需要了解一个常识，那就是一般情况下ELK都是组合应用的，在我们的项目中我们也是一起使用的，但是由于对Kibana 的颇具热情，所以本文是对Kibana的初始 。
先说下项目背景，我是Datawarehouse 的 ，免不了会对些个Datastage job 和 Informatica 的 session 以及我们写的shell 和 python ，以及store procedure 等进行监控和追踪 。
一般情况下如果是做电信的DW项目 都可以有免费的手机短信做为失败告警，当然也会有最基本的邮件通知 。短信能够达到及时性 ，邮件缺失灵活性，不能走到哪里都扛着电脑吧 ，当然现在也会有移动端的邮件。
随着DevOps 和 Agile 等 企业转型的深入 ，项目迫切需要做一些个创新。正如亚马逊创始人Jeff 说的 需要跟上时代 从外部获取好的改变。正好我们项目中存在一些个小的项目能够跟这部分契合起来。
小项目的背景是，我们数据从各地市电信营业厅加载到我们ODS（Operational Data Store，数据仓库项目中可选的部分）时候他们是以文件的形式通过sftp 发到我们的服务器端的 。 在这里面我们会用python和shell以及sp 等手段和方法把数据加载到我们的ODS 端数据库中。假设我们叫这部分数据为财务数据（finance data）。这部分财务信息以一定的频率发送过来，假设是
15分钟。同时这部分数据发送过来需要有两部分内容，一种就是我们说的财务数据 假设叫data 文件，另外一部分就是 对财务数据的核对文件，假设叫check 文件 。data 文件里面顾名思义存的就是一条条的业务数据，而check 文件里面内容还是比较简单的 是对 data 文件的做的一个count ，只记录data 文件的条数 。因为数据都是按频率发送过来的 ，所以这两个文件需要有系统的名字 加 时间戳 。区分的依据是文件的后缀 。假设 文件名字如下 ：
Hong_Kong_202002091234.dat
Hong_Kong_202002091234.chk
为了处理这些个分批次发送过来的数据，我们需要在Unix crontab 里面配置定时任务。
我们这个定时任务只是一次我们脚本的启动，整个业务流程我们采用python 程序完成。而且这个程序进程会一直存在 ，当然如果存在失败因素等我们需要重新再crontab里面在启动一次 。python 进程会处理发送过来的数据 。处理过程我们就不在介绍了 。
新项目就是为了检测这个进程的 以及我们收到文件是否会发生积聚 ，假设进程失败，或是作为的hang 哪里了 那么文件数就会增加 。
最简单的是我写了个 ps -ef | grep 脚本 ，去动态的隔断时间去check 下这个进程 ，并发送邮件到同事。但是有个缺点就是大家邮件太多 ，有时候 根本不留意，所以大boss 就提议弄个可视化的 。
从ELK 项目被提上议程 。
Kibana 项目大概架构
logstash 调用shell 完成数据收集并发送到 ES ，Kibana 从ES 取数据完成展示。
从website 找到的资料