企业级搜索elasticsearch应用03-前置处理器

一。Ingest Node

   IngestNode节点被用于对原始json数据预处理的节点 该节点只需要在 elasticsearch.yml中 添加 node.ingest: true    需要预处理的文档 只需要

添加一个pipeline（管道） 指定一系列的processor （处理器） 所以管道被运行在ingest节点 pipeline管道包含若干个处理器 源文档的处理可以

指定pipeline管道

 在处理文档时 指定管道的语法是

PUT 索引/类型/id?pipeline=指定管道
{
  "foo": "bar"
}

pipeline的维护
1》添加管道（参考https://www.elastic.co/guide/en/elasticsearch/reference/current/put-pipeline-api.html）
管道添加语法

PUT _ingest/pipeline/管道id
{
  "description" : "测试管道",
  "processors" : [
     指定多个处理器
  ]
}

这里演示一个set处理器 在文档添加是 set一个字段（使用之前数据 http://blog.csdn.net/liaomin416100569/article/details/78727827）
比如在添加数据是 添加一个 状态字段 status:1

添加处理器

curl -XPUT '192.168.58.147:9200/_ingest/pipeline/myp' -d '
{
  "description" : "测试管道",
  "processors" : [
    {
      "set" : {
        "field": "status",
        "value": "1"
      }
    }
  ]
}';	

尝试添加一个用户信息

curl -XPUT '192.168.58.147:9200/user/info/12?pipeline=myp' -d '	
{"country":"中国","provice":"广东省","city":"广州市","age":"89","name":"王冠宇","desc":"王冠宇是王五的儿子"}
';

查看该doc 发现多了一个status:1的字段 

[root@node1 ~]# curl -XGET '192.168.58.147:9200/user/info/12?pretty'
{
  "_index" : "user",
  "_type" : "info",
  "_id" : "12",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "country" : "中国",
    "city" : "广州市",
    "provice" : "广东省",
    "name" : "王冠宇",
    "age" : "89",
    "desc" : "王冠宇是王五的儿子",
    "status" : "1"
  }
}

2》删除管道

curl -XDELETE '192.168.58.147:9200/_ingest/pipeline/myp'

修改 参考官方文档

二。常用前置处理器（参考https://www.elastic.co/guide/en/elasticsearch/reference/current/ingest-processors.html）

1》 set前置处理器 （https://www.elastic.co/guide/en/elasticsearch/reference/current/set-processor.html）

在文档被处理前 添加一个字段  语法

{
  "set": {
    "field": "field1",
    "value": 582.1
  }
}

2》GROK处理器（https://www.elastic.co/guide/en/elasticsearch/reference/current/grok-processor.html）
使用grok表达式匹配字段中 特定规则的字符到对应json
grok表达式是正则更上一层的表达式 grok也支持正则的语法
语法格式是
   %{SYNTAX:SEMANTIC}
SYNTAX表示匹配的表达式  SEMANTIC表示将匹配的值写入的字段名 比如

3.44 55.3.244.1

匹配grok表达式

%{NUMBER:duration} %{IP:client}

NUMBER和IP都是内置的表达式名称 默认存在直接使用 举例 比如管道定义

curl -XPUT '192.168.58.147:9200/_ingest/pipeline/myp1?pretty' -d '
{
  "description" : "grok测试",
  "processors": [
    {
      "grok": {
        "field": "message",
        "patterns": ["%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"]
      }
    }
  ]
}';

测试数据

curl -XPUT '192.168.58.147:9200/test/test/1?pipeline=myp1&pretty' -d '	
{
  "message": "55.3.244.1 GET /index.html 15824 0.043"
}
'; 

查询结果

[root@node1 httpd]# curl -XGET '192.168.58.147:9200/test/test/1?pretty'
{
  "_index" : "test",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "duration" : "0.043",
    "request" : "/index.html",
    "method" : "GET",
    "bytes" : "15824",
    "client" : "55.3.244.1",
    "message" : "55.3.244.1 GET /index.html 15824 0.043"
  }
}

其他处理器参考官网