背景：
我们的日志是json类型，但是在写入ES时变成一个message 字段string，这种将所有日志写在一个string 类型时不利于分字段进行查找，并且没发用kibana 平台使用ES的聚合分析功能。
由于业务的不同，打印的字段比较随意，而写入ES中的key最大值要求1000，这样又不能把日志完全展开作为一个json 结构写入ES
所以这里的策略是用logstash,将固定的某些字段展开变成ES中的一个key,其余各种自定义的字段完全写入 message 中
主要用的插件
- json插件，从message 字符串中将所有字段全部变成json 结构体
json {
source => "message"
skip_on_invalid_json => true
}
2.将body字段 (json --> string) 变成字符串存储(具体相应组件查看相关文档)
json_encode {
source => "body"
}
3.配置白名单，过滤所有无用的字段
prune {
whitelist_names => ["^level$","time","^path$","^traceID$","^addr$","^elapse$","^msg$","^status$","^body$","^response$","^ret$","^message$","^fields$"]
}
这样配置过后除了指定的字段外，所有的消息都存在message 中，又能保证ES中key 的有限个
转来转去肯定是存在一些性能损失的，但是没有想到好办法解决这种需求