背景
- 实现网站自带的搜索功能，如淘宝中的商品搜索
全文搜索
- 数据分类
- 结构化数据：固定格式或长度有限的数据，如数据库、元数据等
- 非结构化数据：不定长或无固定格式的数据，如邮件、word文档等
- 搜索分类
- 结构化数据搜索：关系型数据库
- 非结构化数据搜索：顺序扫描（低效）/全文搜索
- 索引
- 从非结构化数据中提取出的然后重新组织的信息
- 非结构化数据->有一定结构的数据
- 对组织后的数据进行搜索
- 倒排索引
- 存储在全文搜索下某个单词在一个或一组文档中的存储位置的映射
- 文档检索系统中最常用的数据结构
- 场景
- 搜索的数据对象是大量的非结构化的文本数据
- 文件记录量达到数十万或数百万个甚至更多
- 支持大量基于交互式文本的查询
- 需求非常灵活的全文搜索查询
- 对高度相关的搜索结果的有特殊需求，但是没有可用的关系数据库可以满足
- 对不同记录类型、非文本数据操作或安全事务处理的需求相对较少的情况
Lucene
- 全文搜索引擎
- 一个代码库和API
- 思路
- 搜集数据
- 通过数据创建索引
- 用户输入关键字
- 通过关键字创建查询器
- 根据查询器到索引里获取数据
- 把查询结果展示给用户
Solr
- 一种非关系（no sql）数据库搜索/存储引擎
- 封装了Lucene，有HTTP接口
- 可以和Hadoop一起使用
- Hadoop处理大量数据，Solr从中找需要的信息
- 与数据库的区别
- 搜索速度比关系型数据库快，一般在网站中单独处理搜索功能
- 数据库不能实现分词效果，只能用模糊查询，效率很低
- 原理：倒排索引，B+树
- IK Analyzer：开源的java中文分词工具包
elasticsearch
- 封装了Lucene
- 分布式、多租户能力的全文搜索引擎
- 具有HTTP Web页面和无架构JSON文档
- 和Solr相比，更易于使用
参考
Solr介绍
https://blog.csdn.net/luo609630199/article/details/82494708
Solr原理
https://www.liangzl.com/get-article-detail-134667.html
全文搜索 Solr Elasticsearch
https://www.cnblogs.com/jajian/p/9801154.html
Solr Elasticsearch 性能比较