一、Mapping的概念
1、Mapping类似于数据库中的Schema的定义,作用如下:
1)定义索引中的字段的名称;
2)定义字段的数据类型,例如字符串、数字、日期、布尔等;
3)对每个字段进行倒排索引的建立及相关配置;
4)Mapping会将Json文档映射成Lucene所需要的扁平格式;
5)一个Mapping属于一个索引的Type,从7.0开始,不需要在Mapping中指定Type信息;
2、字段的数据类型
1)简单类型
Text(会增加Keyword子字段);
Date;
Integer/Long/Floating;
Boolean;
IP4&IP6;
Keyword;
2)复杂类型
对象类型;
嵌套类型;
数组(由第一个非空数值的类型所决定);
空值;
3)特殊类型(地理信息)
geo_point&geo_shape
二、Dynamic Mapping的概念
1、在写入文档的时候,如果索引不存在,则会自动创建索引;
2、由于上述机制,可以无需手动定义Mapping,ElasticSearch会自动根据文档信息,推算出字段的类型;
3、但是有时候推算的可能不对,当类型设置的不对时,会导致一些功能无法正常运行,比如范围内的Range查询;
三、Mapping与Dynamic Mapping的使用
1、推断字段的类型
//创建一个文档
put mapping_test/_doc/1
{
"id":"100",
"isvip":false,
"isadmin":"true",
"age":18,
"height":180
}
//查看索引Mapping结构
get mapping_test/_mapping
//删除索引
delete mapping_test
由上图中可以得出,ElasticSearch基本上可以按照数据推断出预想的字段类型,由于isadmin字段的值是由双引号所括起来的,所以该字段被推断成text类型。
2、更改Mapping的字段类型
对于索引后期加入的字段,可以按照如下情况进行设置:
1)新增加字段
a)Dynamic设置为True时,一旦有新增字段的文档写入,Mapping同时会被更新;
b)Dynamic设置为False时,有新增字段的文档写入,Mapping不会被更新,新增字段的数据也无法被索引,但是信息会出现在_Source中;
c)Dynamic设置成Strict时,文档写入失败;
2)已有字段
a)对于已有字段,一旦已经有数据写入,就不再支持修改字段定义。因为Lucene实现的倒排索引,一旦生成后,就不允许修改。
b)如果希望改变已有字段类型,必须ReIndex,重建索引;
为什么会这样?
I)如果修改了字段的数据类型,会导致已被索引的属于无法被搜索;
II)正因为如此,对于新增加的字段,就不会有这个问题的影响;
3、对于这几种情况,我们通过下图进行演示:
1)对于dynamic为true时,对于创建的文档中的某一字段进行搜索,是可以查询到的。
2)将dynamic设置为false,然后新增一个name字段,然后对其搜索,是无法搜索到的。
同时mapping中也不存在该字段。
但是可以在_Source中看到这个字段。
3)将dynamic设置为strict,然后新增一个grade字段,会发现出现异常。
四、索引Mapping的显式定义
1、Mapping定义的方式有两种:
1)可以参考API手册,纯手写;
2)为了减少输入工作量,减少出错概率,可以依照以下步骤:
a)创建一个临时的Index,写入一些样本数据;
b)通过访问Mapping API获取该临时索引的动态Mapping定义;
c)修改成符合要求的Json,然后创建显式索引;
d)将临时索引删除;
2、显式Mapping定义的语法:
Put Index_Name { "mappings":{ 定义Mapping信息,Json格式
"properties":{
"column_name":{
"type":"text"
},
"column_name":{
"type":"long"
}
...
}
}
}
3、显式Mapping定义的说明:
1)控制当前字段是否可以被索引,默认是True。如果设置成False,则该字段不可被搜索。
将不被搜索的字段设置成索引为false,可以节省磁盘开销,因为这样该字段就不需要进行倒排索引了。
2)对于需要索引的字段,ElasticSearch提供了Index_options配置,可以控制倒排索引记录的内容,Index_options提供了四种控制级别:
a)docs:记录doc的Id;
b)freqs:记录doc Id、Term Frequencies;
c)positions:记录doc Id、Term Frequencies、Term Position;
d)offsets:记录doc Id、Term Frequencies、Term Position、Character offsets;
3)Text类型默认是positions级别,其他类型默认是docs级别;
4)索引字段需要记录的内容越多,那么占用存储空间越大;
5)只有keyword类型支持设定Null值;
6)copy_to的设置,是将字段的值拷贝到所设定的目标字段中,当查询时,可以将该目标字段做为搜索字段进行查询。但是该目标字段不会出现在_source中。
7)数组类型在ElasticSearch中并不提供,但是对于任何字段,是可以包含多个相同类型的数据的。
8)对字段还可以指定特定的analyzer。
9)查看索引Mapping,如下所示:
五、ElasticSearch字段特性与自定义Analyzer
1、Exact Values(精确值)、Full Text(全文本)
Exact Values就是指具体数字、日期、字符串,此类值是不需要进行分词的;
Full Text:是非结构化的文本数据,是需要进行分词的;
2、自定义分词器
当ElasticSearch自带的分词器无法满足要求时,可以自定义分词器,通过组合不同的Character Filter、Tokenizer、Token Filter进行实现。
1)Charater Filters
a)在Tokenizer之前,通过使用Character Filters对文本进行处理,如删除或者替换字符。此种处理会影响后续Tokenizer对Term的Position与Offset的信息。
b)可以设置多个Character Filters,一个自带的Character Filters包括:HTML Strip(去除HTML标签)、Mapping(字符串替换)、Pattern Replace(正则表达式替换)。
如下图所示:
2)Tokenizer
a)将原始的文本按照一定的规则,进行切分成词(Term or Token);
b)内置的Tokenizer有:Standard、uax_url_email、WhiteSpace、keyword、Pattern、Path hierarchy;
c)可以实现自己的Tokenizer插件;
如下图所示:
3)Token Filters
a)将Tokenizer输出的Term,进行增加、修改、删除;
b)内置的Token Filters有:lowercase、stop、synonym(近义词);
如下图所示:
3、自定义Analyzer使用
在图中的emotion、customer、english_stop,是分别对Character Filter、Tokenizer、Token Filter的自定义配置。
注意:字段类型keyword与text类型的子字段keyword的说明:
1、一切文本类型的字符串可以定义成"text"或"keyword"两种类型。区别在于,text类型会使用默认分词器分词(当然也可以指定特定的分词器),keyword类型默认不会对其进行分词;
2、多字段类型情况下,查询时可以用title,也可以用title.keyword查询类型为keyword的子字段;
大家可关注我的公众号
知识学习来源:阮一鸣:《Elasticsearch核心技术与实战》