数据库-第七节：查询操作

查询操作

查找是数据库操作中一个非常重要的技术。查询一般就是使用filter、exclude以及get三个方法来实现。我们可以在调用这些方法的时候传递不同的参数来实现查询需求。在ORM层面，这些查询条件都是使用field+__+condition的方式来使用的。以下将那些常用的查询条件来一一解释。

查询条件

exact：

使用精确的=进行查找。如果提供的是一个None，那么在SQL层面就是被解释为NULL。示例代码如下：

article = Article.objects.get(id__exact=14)
article = Article.objects.get(id__exact=None)

以上的两个查找在翻译为SQL语句为如下：

select ... from article where id=14;
select ... from article where id IS NULL;

iexact：

使用like进行查找。示例代码如下：

article = Article.objects.filter(title__iexact='hello world')

那么以上的查询就等价于以下的SQL语句：

select ... from article where title like 'hello world';

注意上面这个sql语句，因为在MySQL中，没有一个叫做ilike的。所以exact和iexact的区别实际上就是LIKE和=的区别，在大部分collation=utf8_general_ci情况下都是一样的（collation是用来对字符串比较的）。

contains：

大小写敏感，判断某个字段是否包含了某个数据。示例代码如下：

articles = Article.objects.filter(title__contains='hello')

在翻译成SQL语句为如下：

select ... where title like binary '%hello%';

要注意的是，在使用contains的时候，翻译成的sql语句左右两边是有百分号的，意味着使用的是模糊查询。而exact翻译成sql语句左右两边是没有百分号的，意味着使用的是精确的查询。

icontains：

大小写不敏感的匹配查询。示例代码如下：

articles = Article.objects.filter(title__icontains='hello')

在翻译成SQL语句为如下：

select ... where title like '%hello%';

in：

提取那些给定的field的值是否在给定的容器中。容器可以为list、tuple或者任何一个可以迭代的对象，包括QuerySet对象。示例代码如下：

articles = Article.objects.filter(id__in=[1,2,3])

以上代码在翻译成SQL语句为如下：

select ... where id in (1,3,4)

当然也可以传递一个QuerySet对象进去。示例代码如下：

inner_qs = Article.objects.filter(title__contains='hello')
categories = Category.objects.filter(article__in=inner_qs)

以上代码的意思是获取那些文章标题包含hello的所有分类。
将翻译成以下SQL语句，示例代码如下：

select ...from category where article.id in (select id from article where title like '%hello%');

gt：

某个field的值要大于给定的值。示例代码如下：

articles = Article.objects.filter(id__gt=4)

以上代码的意思是将所有id大于4的文章全部都找出来。
将翻译成以下SQL语句：

select ... where id > 4;

gte：

类似于gt，是大于等于。

lt：

类似于gt是小于。

lte：

类似于lt，是小于等于。

startswith：

判断某个字段的值是否是以某个值开始的。大小写敏感。示例代码如下：

articles = Article.objects.filter(title__startswith='hello')

以上代码的意思是提取所有标题以hello字符串开头的文章。
将翻译成以下SQL语句：

select ... where title like 'hello%'

istartswith：

类似于startswith，但是大小写是不敏感的。

endswith：

判断某个字段的值是否以某个值结束。大小写敏感。示例代码如下：

articles = Article.objects.filter(title__endswith='world')

以上代码的意思是提取所有标题以world结尾的文章。
将翻译成以下SQL语句：

select ... where title like '%world';

iendswith：

类似于endswith，只不过大小写不敏感。

range：

判断某个field的值是否在给定的区间中。示例代码如下：

from django.utils.timezone import make_aware
from datetime import datetime
start_date = make_aware(datetime(year=2018,month=1,day=1))
end_date = make_aware(datetime(year=2018,month=3,day=29,hour=16))
articles = Article.objects.filter(pub_date__range=(start_date,end_date))

以上代码的意思是提取所有发布时间在2018/1/1到2018/12/12之间的文章。
将翻译成以下的SQL语句：

select ... from article where pub_time between '2018-01-01' and '2018-12-12'。

需要注意的是，以上提取数据，不会包含最后一个值。也就是不会包含2018/12/12的文章。
而且另外一个重点，因为我们在settings.py中指定了USE_TZ=True，并且设置了TIME_ZONE='Asia/Shanghai'，因此我们在提取数据的时候要使用django.utils.timezone.make_aware先将datetime.datetime从navie时间转换为aware时间。make_aware会将指定的时间转换为TIME_ZONE中指定的时区的时间。

date：

针对某些date或者datetime类型的字段。可以指定date的范围。并且这个时间过滤，还可以使用链式调用。示例代码如下：

articles = Article.objects.filter(pub_date__date=date(2018,3,29))

以上代码的意思是查找时间为2018/3/29这一天发表的所有文章。
将翻译成以下的sql语句：

select ... WHERE DATE(CONVERT_TZ(`front_article`.`pub_date`, 'UTC', 'Asia/Shanghai')) = 2018-03-29

注意，因为默认情况下MySQL的表中是没有存储时区相关的信息的。因此我们需要下载一些时区表的文件，然后添加到Mysql的配置路径中。如果你用的是windows操作系统。那么在http://dev.mysql.com/downloads/timezones.html下载timezone_2018d_posix.zip - POSIX standard。然后将下载下来的所有文件拷贝到C:ProgramDataMySQLMySQL Server 5.7Datamysql中，如果提示文件名重复，那么选择覆盖即可。
如果用的是linux或者mac系统，那么在命令行中执行以下命令：mysql_tzinfo_to_sql /usr/share/zoneinfo | mysql -D mysql -u root -p，然后输入密码，从系统中加载时区文件更新到mysql中。

year：

根据年份进行查找。示例代码如下：

articles = Article.objects.filter(pub_date__year=2018)
articles = Article.objects.filter(pub_date__year__gte=2017)

以上的代码在翻译成SQL语句为如下：

select ... where pub_date between '2018-01-01' and '2018-12-31';
select ... where pub_date >= '2017-01-01';

month：

同year，根据月份进行查找。

day：

同year，根据日期进行查找。

week_day：

Django 1.11新增的查找方式。同year，根据星期几进行查找。1表示星期天，7表示星期六，2-6代表的是星期一到星期五。

time：

根据时间进行查找。示例代码如下：

articles = Article.objects.filter(pub_date__time=datetime.time(12,12,12));

以上的代码是获取每一天中12点12分12秒发表的所有文章。
更多的关于时间的过滤，请参考Django官方文档：https://docs.djangoproject.com/en/2.0/ref/models/querysets/#range。

isnull：

根据值是否为空进行查找。示例代码如下：

articles = Article.objects.filter(pub_date__isnull=False)

以上的代码的意思是获取所有发布日期不为空的文章。
将来翻译成SQL语句如下：

select ... where pub_date is not null;

regex和iregex：

大小写敏感和大小写不敏感的正则表达式。示例代码如下：

articles = Article.objects.filter(title__regex=r'^hello')

以上代码的意思是提取所有标题以hello字符串开头的文章。
将翻译成以下的SQL语句：

select ... where title regexp binary '^hello';

iregex是大小写不敏感的。

根据关联的表进行查询：

假如现在有两个ORM模型，一个是Article，一个是Category。代码如下：

class Category(models.Model):
    """文章分类表"""
    name = models.CharField(max_length=100)

class Article(models.Model):
    """文章表"""
    title = models.CharField(max_length=100,null=True)
    category = models.ForeignKey("Category",on_delete=models.CASCADE)

比如想要获取文章标题中包含"hello"的所有的分类。那么可以通过以下代码来实现：

categories = Category.object.filter(article__title__contains("hello"))

---

聚合函数：

如果你用原生SQL，则可以使用聚合函数来提取数据。比如提取某个商品销售的数量，那么可以使用Count，如果想要知道商品销售的平均价格，那么可以使用Avg。
聚合函数是通过aggregate方法来实现的。在讲解这些聚合函数的用法的时候，都是基于以下的模型对象来实现的。

  from django.db import models

 class Author(models.Model):
     """作者模型"""
     name = models.CharField(max_length=100)
     age = models.IntegerField()
     email = models.EmailField()

     class Meta:
         db_table = 'author'


 class Publisher(models.Model):
     """出版社模型"""
     name = models.CharField(max_length=300)

     class Meta:
         db_table = 'publisher'


 class Book(models.Model):
     """图书模型"""
     name = models.CharField(max_length=300)
     pages = models.IntegerField()
     price = models.FloatField()
     rating = models.FloatField()
     author = models.ForeignKey(Author,on_delete=models.CASCADE)
     publisher = models.ForeignKey(Publisher, on_delete=models.CASCADE)

     class Meta:
         db_table = 'book'


 class BookOrder(models.Model):
     """图书订单模型"""
     book = models.ForeignKey("Book",on_delete=models.CASCADE)
     price = models.FloatField()

     class Meta:
         db_table = 'book_order'

1. Avg：求平均值。比如想要获取所有图书的价格平均值。那么可以使用以下代码实现。

    from django.db.models import Avg
    result = Book.objects.aggregate(Avg('price'))
    print(result)
   

   以上的打印结果是：

    {"price__avg":23.0}
   

   其中price__avg的结构是根据field__avg规则构成的。如果想要修改默认的名字，那么可以将Avg赋值给一个关键字参数。示例代码如下：

    from django.db.models import Avg
    result = Book.objects.aggregate(my_avg=Avg('price'))
    print(result)
   

   那么以上的结果打印为：

    {"my_avg":23}
   

2. Count：获取指定的对象的个数。示例代码如下：

    from django.db.models import Count
    result = Book.objects.aggregate(book_num=Count('id'))
   

   以上的result将返回Book表中总共有多少本图书。
   Count类中，还有另外一个参数叫做distinct，默认是等于False，如果是等于True，那么将去掉那些重复的值。比如要获取作者表中所有的不重复的邮箱总共有多少个，那么可以通过以下代码来实现：

        from djang.db.models import Count
        result = Author.objects.aggregate(count=Count('email',distinct=True))
   

3. Max和Min：获取指定对象的最大值和最小值。比如想要获取Author表中，最大的年龄和最小的年龄分别是多少。那么可以通过以下代码来实现：

    from django.db.models import Max,Min
    result = Author.objects.aggregate(Max('age'),Min('age'))
   

   如果最大的年龄是88,最小的年龄是18。那么以上的result将为：

    {"age__max":88,"age__min":18}
   

4. Sum：求指定对象的总和。比如要求图书的销售总额。那么可以使用以下代码实现：

    from djang.db.models import Sum
    result = Book.objects.annotate(total=Sum("bookstore__price")).values("name","total")
   

   以上的代码annotate的意思是给Book表在查询的时候添加一个字段叫做total，这个字段的数据来源是从BookStore模型的price的总和而来。values方法是只提取name和total两个字段的值。

更多的聚合函数请参考官方文档：https://docs.djangoproject.com/en/2.0/ref/models/querysets/#aggregation-functions

aggregate和annotate的区别：

1. aggregate：返回使用聚合函数后的字段和值。

2. annotate：在原来模型字段的基础之上添加一个使用了聚合函数的字段，并且在使用聚合函数的时候，会使用当前这个模型的主键进行分组（group by）。
   比如以上Sum的例子，如果使用的是annotate，那么将在每条图书的数据上都添加一个字段叫做total，计算这本书的销售总额。
   而如果使用的是aggregate，那么将求所有图书的销售总额。

F表达式和Q表达式：

F表达式：

F表达式是用来优化ORM操作数据库的。比如我们要将公司所有员工的薪水都增加1000元，如果按照正常的流程，应该是先从数据库中提取所有的员工工资到Python内存中，然后使用Python代码在员工工资的基础之上增加1000元，最后再保存到数据库中。这里面涉及的流程就是，首先从数据库中提取数据到Python内存中，然后在Python内存中做完运算，之后再保存到数据库中。示例代码如下：

employees = Employee.objects.all()
for employee in employees:
    employee.salary += 1000
    employee.save()

而我们的F表达式就可以优化这个流程，他可以不需要先把数据从数据库中提取出来，计算完成后再保存回去，他可以直接执行SQL语句，就将员工的工资增加1000元。示例代码如下：

from djang.db.models import F
Employee.object.update(salary=F("salary")+1000)

F表达式并不会马上从数据库中获取数据，而是在生成SQL语句的时候，动态的获取传给F表达式的值。

比如如果想要获取作者中，name和email相同的作者数据。如果不使用F表达式，那么需要使用以下代码来完成：

    authors = Author.objects.all()
    for author in authors:
        if author.name == author.email:
            print(author)

如果使用F表达式，那么一行代码就可以搞定。示例代码如下：

    from django.db.models import F
    authors = Author.objects.filter(name=F("email"))

Q表达式：

如果想要实现所有价格高于100元，并且评分达到9.0以上评分的图书。那么可以通过以下代码来实现：

books = Book.objects.filter(price__gte=100,rating__gte=9)

以上这个案例是一个并集查询，可以简单的通过传递多个条件进去来实现。
但是如果想要实现一些复杂的查询语句，比如要查询所有价格低于10元，或者是评分低于9分的图书。那就没有办法通过传递多个条件进去实现了。这时候就需要使用Q表达式来实现了。示例代码如下：

from django.db.models import Q
books = Book.objects.filter(Q(price__lte=10) | Q(rating__lte=9))

以上是进行或运算，当然还可以进行其他的运算，比如有&和~（非）等。一些用Q表达式的例子如下：

from django.db.models import Q
# 获取id等于3的图书
books = Book.objects.filter(Q(id=3))
# 获取id等于3，或者名字中包含文字"记"的图书
books = Book.objects.filter(Q(id=3)|Q(name__contains("记")))
# 获取价格大于100，并且书名中包含"记"的图书
books = Book.objects.filter(Q(price__gte=100)&Q(name__contains("记")))
# 获取书名包含“记”，但是id不等于3的图书
books = Book.objects.filter(Q(name__contains='记') & ~Q(id=3))