• Django + DRF + Elasticsearch 实现搜索功能


     如何使用django来调用Elasticsearch实现全文的搜索

      Haystack为Django提供了模块化的搜索。它的特点是统一的,熟悉的API,可以让你在不修改代码的情况下使用不同的搜索后端(比如 Solr, Elasticsearch, Whoosh, Xapian 等等)。

    环境:django ==1.11.11

    1.首先安装相关的依赖包:(这里原作者使用的是drf-haystack,如果项目没有使用drf组件,应该选用haystack包)

    pip install drf-haystack 
    pip install elasticsearch==2.4.1

    # drf-haystack官方文档:https://drf-haystack.readthedocs.io/en/latest/

    2.在django项目配置文件settings.py中注册应用:

    INSTALLED_APPS = [
        ...
        'haystack',
        ...
    ]

    3.在django项目配置文件settings.py中指定搜索的后端:(指定使用那个搜索引擎,服务器地址的配置,索引库的名称等配置)

    # Haystack
    HAYSTACK_CONNECTIONS = {
        'default': {
            'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine', # 指定使用 elasticsearch 为搜索引擎, 如果搜索内容包含中文, 需要将 elasticsearch 配置支持中文分词
            'URL': 'http://your_ip:9200/',  # 此处为elasticsearch运行的服务器ip地址,端口号默认为9200
         # elasticsearch建立的索引库的名称
         'INDEX_NAME': 'demo',
         # 保存索引文件的路径
         # 'PATH': os.path.join(BASE_DIR, 'elastic_index'), # 如果搜索引擎是whoosh, 还需要设置PATH参数
    },
    }
    # 当添加、修改、删除数据时,自动生成索引
    HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

     # 指定搜索结果每页的条数 这里设置成了1条
     HAYSTACK_SEARCH_RESULTS_PER_PAGE = 1

    注意:

    HAYSTACK_SIGNAL_PROCESSOR 的配置保证了在Django运行起来后,有新的数据产生时,haystack仍然可以让Elasticsearch实时生成新数据的索引

    4.创建索引类:(在需要进行索引的应用的目录下创建文件search_indexes.py, 在该文件内创建该索引类,转载者注

    from haystack import indexes
    from
    .models import Demo
    # 原作者在代码中没有给出模型代码,这个模型里拥有的字段就是需要提供搜索的字段,建议保留模型字段中自增的主键字段id, 在我实际项目开发中发现如果不保留就无法实现搜索

    索引模型类的名称必须是 模型类名称 + Index

    class DemoIndex(indexes.SearchIndex, indexes.Indexable):
    """
    索引数据模型类
    """
    text
    = indexes.CharField(document=True, use_template=True) # 一般此字段约定为text
       default_image_url = indexes.CharField(model_attr='default_image_url')
    def get_model(self):
    """返回建立索引的模型类"""
    return Demomodel

    </span><span style="color:#0000ff;">def</span> index_queryset(self, using=<span style="color:#000000;">None):
        </span><span style="color:#800000;">"""</span><span style="color:#800000;">返回要建立索引的数据查询集</span><span style="color:#800000;">"""</span>
        <span style="color:#0000ff;">return</span> self.get_model().objects.filter(is_launched=<span style="color:#000000;">True)
    

    """
    说明:
    1.在DemoIndex建立的字段,都可以借助haystack由elasticsearch搜索引擎查询。
    2.其中text字段声明为document=True,表名该字段是主要进行关键字查询的字段, 该字段的索引值可以由多个数据库模型类字段组成(是多个字段,不是多个数据库模型类,转者注),具体由哪些模型类字段组成,我们用use_template=True表示后续通过模板来指明,其他字段都是通过model_attr选项指明引用数据库模型类的特定字段。
    3.在 REST framework中,索引类的字段会作为查询结果返回数据的来源,
    """

    5. 在templates目录中创建text字段使用的模板文件:

    templates/search/indexes/demo/demo_text.txt文件中定义

    (关于路径的定义和文件的命名的说明:templates是项目原来的html文件的目录,search是在其下新建的,名称一定,indexes名称也一定,demo是应用的名称,demo_text.txt 就是需要进行索引的模型类名的小写 + "_" + 索引类中定义的字段名称(text) + ".txt" 转载者注)

    在demo_text.txt文件中 指定为模型类中那些字段建立索引

    {{ object.name }}
    {{ object.id }}

    然后使用命令手动创建索引:

      进入manage.py所在的目录执行命令:

        python manage.py rebuild_index

    6.创建haystack序列化器:(返回查询到的查询集数据)

    from drf_haystack.serializers import HaystackSerializer
    

    class DemoSerializer(serializers.ModelSerializer):
    """
    序列化器
    """
    class Meta:
    model
    = Demo
         # 返回除了搜索字段外的所需要的其他字段数据, 可以将所有需要返回的字段数据写上,便于提取
    fields
    = ('id', 'name')

    class DemoIndexSerializer(HaystackSerializer):
    """
    SKU索引结果数据序列化器
    """
       # 变量名称必须为 object 否则无法返回
    object
    = DemoSerializer(read_only=True)# 只读,不可以进行反序列化

    </span><span style="color:#0000ff;">class</span><span style="color:#000000;"> Meta:
        index_classes </span>=<span style="color:#000000;"> [DemoIndex] # 索引类的名称,可以有多个<br>     </span><em># text 由索引类进行返回, object 由序列化类进行返回,第一个参数必须是text<br></em><em><span>        fields </span>= (<span style="color:#800000;">'</span><span style="color:#800000;">text</span><span style="color:#800000;">'</span>, <span style="color:#800000;">object</span><span style="color:#800000;">, '</span><em><em>default_image_url'</em></em>)</em></pre>
    

    注意:fields属性的字段名与DemoIndex类的字段对应。

    7.创建视图

    from drf_haystack.viewsets import HaystackViewSet
    

    class DemoSearchViewSet(HaystackViewSet):
      index_models
    = [Demo]#这里可以写入多个已经进行了索引的模型类
      
      serializer_class = DemoIndexSerializer
      # 这里是通过父类默认的方法进行返回了数据, 可以在视图中对数据进行筛选和处理,详细的使用方法可以去查看官方文档,drf-haystack官方文档:https://drf-haystack.readthedocs.io/en/latest/

    • 该视图会返回搜索结果的列表数据,所以如果可以为视图增加REST framework的分页功能。
    • 我们在配置文件已经定义了分页配置,所以此搜索视图会进行分页。

    8. 添加路由,使用通过REST framework的router来定义路由

    router = DefaultRouter()
    router.register('/', views.DemoSearchViewSet, base_name='demo_search')
    

    ...

    urlpatterns += router.urls

    9.测试

    http://127.0.0.1:8000/?text=something

    如果在配置完haystack并启动程序后,出现如下异常,是因为drf-haystack还没有适配最新版本的REST framework框架

    可以通过修改REST framework框架代码,补充_get_count函数定义即可

    文件路径 虚拟环境下的 lib/python3.6/site-packages/rest_framework/pagination.py

    def _get_count(queryset):
        """
        Determine an object count, supporting either querysets or regular lists.
        """
        try:
            return queryset.count()
        except (AttributeError, TypeError):
            return len(queryset)
  • 相关阅读:
    《多处理器编程的艺术》读书笔记(2) 互斥
    《多处理器编程的艺术》读书笔记(7) CLH队列锁
    rdlc 套打实现
    《多处理器编程的艺术》读书笔记(6) 队列锁
    《多处理器编程的艺术》读书笔记(3) 双线程解决方案
    《多处理器编程的艺术》读书笔记(4) 自旋锁(1)
    《多处理器编程的艺术》读书笔记(1) 并行的困境和加速比
    反色,霓虹灯,浮雕
    《多处理器编程的艺术》读书笔记(5) 自旋锁(2)
    Open ESRI shape files in Quantum GIS Anny
  • 原文地址:https://www.cnblogs.com/mqhpy/p/13099687.html
Copyright © 2020-2023  润新知