• haystack(django的全文检索模块)


    haystack

    haystack是django开源的全文搜索框架
    
    全文检索:标题可以检索,内容也可以检索  
    支持solr ,elasticsearch,whoosh
    

    1.注册app

    在setting.py的app中注册"haystack"
    

    2.指定用哪个引擎(solr,elasticsearch,whoosh)

    将配置文件放在setting文件中
    在你的`settings.py`中,你需要添加一个设置来指示站点配置文件正在使用的后端,以及其它的后端设置。  `HAYSTACK——CONNECTIONS`是必需的设置,并且应该至少是以下的一种: 
    
    Solr示例
    HAYSTACK_CONNECTIONS = {
        'default': {
            'ENGINE': 'haystack.backends.solr_backend.SolrEngine',
            'URL': 'http://127.0.0.1:8983/solr'
            # ...or for multicore...
            # 'URL': 'http://127.0.0.1:8983/solr/mysite',
        },
    }
    
    # Elasticsearch示例
    HAYSTACK_CONNECTIONS = {
        'default': {
            'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
            'URL': 'http://127.0.0.1:9200/',
            'INDEX_NAME': 'haystack',
        },
    }
    
    Whoosh示例
    #需要设置PATH到你的Whoosh索引的文件系统位置
    import os
    HAYSTACK_CONNECTIONS = {
        'default': {
            'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
            'PATH': os.path.join(os.path.dirname(__file__), 'whoosh_index'),
        },
    }
    # 自动更新索引
    HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
    
    
    # Xapian示例
    #首先安装Xapian后端(http://github.com/notanumber/xapian-haystack/tree/master)
    #需要设置PATH到你的Xapian索引的文件系统位置。
    import os
    HAYSTACK_CONNECTIONS = {
        'default': {
            'ENGINE': 'xapian_backend.XapianEngine',
            'PATH': os.path.join(os.path.dirname(__file__), 'xapian_index'),
        },
    }
    

    3.在models中建表User,进行数据迁移

    class User(Model):
        name = CharField(max_length=16)
        desc = CharField(max_length=255)
        addr = CharField(max_length=32)
    makemigrations
    migrate
    

    4.创建search_indexes.py

    如果你想针对某个app例如blog做全文检索,则必须在blog的目录下面建立`search_indexes.py`文件,文件名不能修改 
    
    创建类UserIndex(给数据加索引)
    
    from haystack import indexes
    from htest.models import User
    
    #给表做索引
    class UserIndex(indexes.SearchIndex, indexes.Indexable):
        #类名必须为需要检索的Model_name+Index
        text = indexes.CharField(document=True, use_template=True)#创建一个text字段
        #其它字段
        # desc = indexes.CharField(model_attr='desc')
        # addr = indexes.CharField(model_attr='addr')
    
        def get_model(self):#重载get_model方法,必须要有!
            return User
    
        def index_queryset(self, using=None):
            return self.get_model().objects.all()
    

    5.在模板目录下(templates)建立新的模板,search/indexes/APP名称/model类名_text.txt

    (确定搜索范围,在名称和标题和内容中查找)
    text.txt
    {{object.name}}
    {{object.title}}
    {{object.content}}
    

    6.设置url

    from django.conf.urls import url,include
    url(r'^search/', include('haystack.urls'))
    

    7.在templates/search文件夹下创建search.html文件(搜索后返回的页面)

    <!DOCTYPE html>
    <html>
    <head>
        <title></title>
        <style>
            span.highlighted {
                color: red;
            }
        </style>
    </head>
    <body>
    {% load highlight %}
    {% if query %}
        <h3>搜索结果如下:</h3>
        {% for result in page.object_list %}
    {#        <a href="/{{ result.object.id }}/">{{ result.object.title }}</a><br/>#}
            <a href="/{{ result.object.id }}/">{%   highlight result.object.name with query max_length 2%}</a><br/>
            <p>{{ result.object.desc|safe }}</p>
            <p>{% highlight result.addr with query %}</p>
        {% empty %}
            <p>啥也没找到</p>
        {% endfor %}
    
        {% if page.has_previous or page.has_next %}
            <div>
                {% if page.has_previous %}
                    <a href="?q={{ query }}&amp;page={{ page.previous_page_number }}">{% endif %}&laquo; 上一页
                {% if page.has_previous %}</a>{% endif %}
                |
                {% if page.has_next %}<a href="?q={{ query }}&amp;page={{ page.next_page_number }}">{% endif %}下一页 &raquo;
                {% if page.has_next %}</a>{% endif %}
            </div>
        {% endif %}
    {% endif %}
    </body>
    </html>
        
    #html中显示的字段要跟表的字段一样
    

    8.重建索引

    切换到项目根目录,运行
    python3 manage.py rebuild_index
    

    9.使用jieba分词

    ①建立ChineseAnalyzer.py文件

    #建立ChineseAnalyzer.py文件
    #保存在haystack的安装文件夹下,路径如“D:python3Libsite-packageshaystackackends”
    
    import jieba
    from whoosh.analysis import Tokenizer, Token
    
    class ChineseTokenizer(Tokenizer):
        def __call__(self, value, positions=False, chars=False,
                     keeporiginal=False, removestops=True,
                     start_pos=0, start_char=0, mode='', **kwargs):
            t = Token(positions, chars, removestops=removestops, mode=mode,
                      **kwargs)
            seglist = jieba.cut(value, cut_all=True)
            for w in seglist:
                t.original = t.text = w
                t.boost = 1.0
                if positions:
                    t.pos = start_pos + value.find(w)
                if chars:
                    t.startchar = start_char + value.find(w)
                    t.endchar = start_char + value.find(w) + len(w)
                yield t
    
    
    def ChineseAnalyzer():
        return ChineseTokenizer()
    

    ②修改whoosh_backend.py文件(文件路径:“D:python3Libsite-packageshaystackackends”)

    一.在文件的__future__后增加一行(不可以加在其前):
    from __future__ import absolute_import, division, print_function, unicode_literals
    from .ChineseAnalyzer import ChineseAnalyzer
    #注意 ChineseAnalyzer后有个空格,需去掉
    二.查找 analyzer=StemmingAnalyzer()
    三.改为 analyzer=ChineseAnalyzer()
    

    ③在模板目录下(templates)新建测试index.html文件,配置路由和视图函数(测试使用)

    #index.html
    #搜索栏
    <form method='get' action="/search/" target="_blank">
        <input type="text" name="q">
        <input type="submit" value="查询">
    </form>
    
    #urls
    urlpatterns = [
        #url(r'^admin/', admin.site.urls),
        #url(r'^search/', include('haystack.urls')),
        url(r'^$',views.index )
    ]
    
    #views
    def index(request):
        return render(request,"index.html")
    

    8.其它配置

    增加更多变量

    
    from haystack.views import SearchView  
    from .models import *  
          
    class MySeachView(SearchView):  
         def extra_context(self):       #重载extra_context来添加额外的context内容  
             context = super(MySeachView,self).extra_context()  
             side_list = Topic.objects.filter(kind='major').order_by('add_date')[:8]  
             context['side_list'] = side_list  
             return context  
    
            
    #路由修改
    url(r'^search/', search_views.MySeachView(), name='haystack_search'),  
    

    高亮显示

    {% highlight result.summary with query %}  
    # 这里可以限制最终{{ result.summary }}被高亮处理后的长度  
    {% highlight result.summary with query max_length 40 %}  
    
    #html中
        <style>
            span.highlighted {
                color: red;
            }
        </style>
    
  • 相关阅读:
    学习python第六天
    学习python第五天
    学习python第四天
    学习python第二天
    网工学Python——模块和包
    网工学Python——初识函数
    网工学Python——常用模块
    网工学Python——基础知识
    网工学Python——目录
    Python-面向对象
  • 原文地址:https://www.cnblogs.com/robert-zhou/p/10731837.html
Copyright © 2020-2023  润新知