• Django 分页查询并返回jsons数据,中文乱码解决方法


    Django 分页查询并返回jsons数据,中文乱码解决方法

    一、引子

    Django 分页查询并返回 json ,需要将返回的 queryset 序列化, demo 如下:

    # coding=UTF-8
    
    import os
    
    from django.core import serializers
    from django.core.paginator import Paginator, PageNotAnInteger, EmptyPage
    from django.shortcuts import render
    from django.http import HttpResponse
    from mypage.models import Product
    
    
    # Create your views here.
    
    
    def getAllProducts(request):
        products_list = Product.objects.all()
        paginator = Paginator(products_list, 10)  # Show 10 products per page
        page = request.GET.get('page', 0)
        try:
            products = paginator.page(page)
        except PageNotAnInteger:
            # If page is not an integer, deliver first page.
            products = paginator.page(10)
        except EmptyPage:
            # If page is out of range (e.g. 9999), deliver last page of results.
            products = paginator.page(paginator.num_pages)
    
        json_data = serializers.serialize("json", products, ensure_ascii=False)
        return HttpResponse(json_data, content_type='application/json; charset=utf-8')
    
    

    很容易出现的一个错误是中文乱码,重点在于 json_data = serializers.serialize("json", products, ensure_ascii=False) 中第三个参数。

    二、Serialize----序列化django对象

    官方文档原文:https://docs.djangoproject.com/en/2.1/topics/serialization/

    django的序列化框架提供了一个把django对象转换成其他格式的机制,通常这些其他的格式都是基于文本的并且用于通过一个管道发送django对象,但一个序列器是可能处理任何一个格式的(基于文本或者不是)

    django的序列化类位于django.core下面的serializers文件夹里面,base.py文件里面定义了序列器和反序列器的基类以及一些异常,init.py文件定义了如何根据格式来选择对应的序列器等内容,我们一起来看看吧

    init.py和base.py文件的函数原型如下图

    def serialize(format, queryset, **options):
    """Serialize a queryset (or any iterator that returns database objects) using
    a certain serializer."""
    s = get_serializer(format)()
    s.serialize(queryset, **options)
    return s.getvalue()
    
    class Serializer(object):
       """    Abstract serializer base class.    """
       # Indicates if the implemented serializer is only available for
       # internal Django use.
       internal_use_only = False
       def serialize(self, queryset, **options):
    

    那下面我们开始正式讲解django的序列化操作了

    序列化数据

    在最高层的api,序列化数据是非常容易的操作,看上面的函数可知,serialize函数接受一个格式和queryset,返回序列化后的数据:

    简单的写法:

    from django.core import serializers
    data = serializers.serialize("xml", SomeModel.objects.all())
    

    复杂的写法:

    XMLSerializer = serializers.get_serializer("xml")
    xml_serializer = XMLSerializer()
    xml_serializer.serialize(queryset)
    data = xml_serializer.getvalue()
    

    反序列化数据

    一样的简单,接受一个格式和一个数据流,返回一个迭代器

    for obj in serializers.deserialize("xml", data):
        do_something_with(obj)
    

    然而,deserialize返回的的是不是简单的django类型对象,而是DeserializedObject实例,并且这些实例是没有保存的,请使用DeserializedObject.save()方法把这些数据保存到数据库

    序列化格式

    django之处很多的序列化格式,有些需要你安装第三方支持的模块,xml,json和yaml是默认支持的

    注意事项
    如果你是使用utf-8或者其他的非ascii编码数据,然后用json序列器,注意穿一个ensure_ascii参数进去,否则输出的编码将会不正常

    json_serializer = serializers.get_serializer("json")()
    json_serializer.serialize(queryset, ensure_ascii=False, stream=response)
    

    序列化参数

    序列化的是是可以接受额外的参数的,总共有三个参数,如下:

            self.stream = options.pop("stream", StringIO())
            self.selected_fields = options.pop("fields", None)
            self.use_natural_keys = options.pop("use_natural_keys", False)
    

    stream

    将序列化后的数据输出到该stream流中,接上面的复杂的写法:

    out = open("file.xml", "w")
    xml_serializer.serialize(SomeModel.objects.all(), stream=out)
    

    selected_field

    选择序列化的属性,通过制定fields参数,fields是一个元组参数,元素是选择要序列化的属性

    from django.core import serializers
    data = serializers.serialize('xml', SomeModel.objects.all(), fields=('name','size'))
    

    use_natural_keys

    是否使用自然的关键字,默认是false(即是使用主键)

    默认的外键和多对多关系序列化策略是使用主键,一般情况下是很好地,但有些情况下就不是这样了。比如外键到ContentType的时候,由于ContentType是django的数据库进程同步的时候自动产生的,它们的关键字不是那么容易去预测的。

    一个整数id也不总是最方便的索引到一个对象的方法,所以基于这些情况,django提供了use_natural_keys这个参数,

    一个natural key是一个可以不使用主键就可以用来区分一个元素的属性组合的元组

    natural keys的反序列化

    考虑这两个模型

    from django.db import models
    class Person(models.Model):
        first_name = models.CharField(max_length=100)
        last_name = models.CharField(max_length=100)
        birthdate = models.DateField()
        class Meta:
            unique_together = (('first_name', 'last_name'),)
    class Book(models.Model):
        name = models.CharField(max_length=100)
        author = models.ForeignKey(Person)
    

    默认Book 的序列化数据将会使用一个整数索引到一个作者,例如,用json的是,一个Book的序列化数据大概是这样的,42是外键Author的主键

    {
        "pk": 1,
        "model": "store.book",
        "fields": {
            "name": "Mostly Harmless",
            "author": 42
        }
    }
    

    但这不是一个很好的方法,不是吗?你需要知道这个主键代表到底是哪个Author,并且要求这个主键是稳定和可预测的。所以,我们可以增加一个natural key的处理函数,请在对应模型的管理模型里面定义一个get_by_natural_key方法,例如:

    from django.db import models
    class PersonManager(models.Manager):
        def get_by_natural_key(self, first_name, last_name):
            return self.get(first_name=first_name, last_name=last_name)
    class Person(models.Model):
        objects = PersonManager()
        first_name = models.CharField(max_length=100)
        last_name = models.CharField(max_length=100)
        birthdate = models.DateField()
        class Meta:
            unique_together = (('first_name', 'last_name'),)
    

    这样之后,序列化的结果大概是这样的:

    {
        "pk": 1,
        "model": "store.book",
        "fields": {
            "name": "Mostly Harmless",
            "author": ["Douglas", "Adams"]
        }
    }
    

    natural keys的序列化

    如果你想在序列化的时候使用natural key,那你必须在被序列化的模型里面顶一个natural_key方法,并在序列化的时候使用use_natural_keys=True属性如下:

    class Person(models.Model):
        objects = PersonManager()
        first_name = models.CharField(max_length=100)
        last_name = models.CharField(max_length=100)
        birthdate = models.DateField()
        def natural_key(self):
            return (self.first_name, self.last_name)
        class Meta:
            unique_together = (('first_name', 'last_name'),)
    

    serializers.serialize('json', [book1, book2], use_natural_keys=True)
    注意:natural_key()和get_by_natural_key()不是同时定义的,如果你只想重载natural keys的能力,那么你不必定义natural_key()方法;同样,如果你只想在序列化的时候输出这些natural keys,那么你不必定义get_by_natural_key()方法

    序列化过程中的依赖关系

    因为natural keys依赖数据库查询来解析引用,所以在数据被引用之前必须确保数据是存在的。看下面的例子,如果一个Book的natural key是书名和作者的组合,你可以这样写:

    class Book(models.Model):
        name = models.CharField(max_length=100)
        author = models.ForeignKey(Person)
    
        def natural_key(self):
            return (self.name,) + self.author.natural_key()
    

    那么问题来了,如果Author还没有被序列化呢?很明显,Author应该在Book之前被序列化,为此,我们可以添加一个依赖关系如下:

    def natural_key(self):
        return (self.name,) + self.author.natural_key()
    natural_key.dependencies = ['example_app.person']
    

    这保证了Person对象是在Book对象之前被序列化的,同样,任何一个引用Book的对象只有在Person和Book对象都被序列化之后才会被序列化

    继承的模型

    如果是使用抽象继承的时候,不必在意这个问题;如果你使用的是多表继承,那么注意了:必须序列化所有的基类,例如:

    class Place(models.Model):
        name = models.CharField(max_length=50)
    class Restaurant(Place):
        serves_hot_dogs = models.BooleanField()
    

    如果仅仅序列化Restaurant模型,那么只会得到一个serves_hot_dog属性,基类的属性将被忽略,你必须同时序列化所有的继承的模型,如下:

    all_objects = list(Restaurant.objects.all()) + list(Place.objects.all())
    data = serializers.serialize('xml', all_objects)
    
  • 相关阅读:
    Kaggle 神器 xgboost
    改善代码可测性的若干技巧
    IDEA 代码生成插件 CodeMaker
    Elasticsearch 使用中文分词
    Java性能调优的11个实用技巧
    Lucene 快速入门
    Java中一个字符用unicode编码为什么不是两字节
    lucene 的评分机制
    面向对象设计的 10 条戒律
    2019.10.23-最长全1串(双指针)
  • 原文地址:https://www.cnblogs.com/joy99/p/9404479.html
Copyright © 2020-2023  润新知