orm优化
-
数据库技术进行优化,包括给字段加索引,设置唯一性约束等等;
-
查询过滤工作在数据库语句中做,不要放在代码中完成(看情况);
-
如果要一次查询出集合的数量,使用count函数,而不是len函数,但是如果后面还需要到集合,那就用len,因为count还需要进行一次数据库的操作;
-
避免过多的使用count和exists函数;
-
如果需要查询对象的外键,则使用外键字段而不是使用关联的外键的对象的主键;
例子:
a.b_id # 正确
a.b.id # 错误
- 在通过all语句查询时,不要做跨表查询,只查询当前表中有的数据,否则查询语句的性能会下降很多;
比如:a表存在外键b表
a.b.all() # 错误
-
如果想要查询其他表的数据,则加上select_related(ForeignKey字段名,其实就是主动联表查询,性能也会下降),如果有多个,则在括号中加上;
-
加only参数是从查询结果中只取某个字段,而另外一个defer方法则是从查询结果中排除某个字段;
-
不要获取你不需要的东西,可以通过values和value_list实现;
values返回的是字典数组,比如:[{'key1': value1, 'key2': value2}, {'key1': value3, 'key2': value4}]
value_list返回的是tuple数组 [('value1', 'value2'), ('value3', 'value4')]
value_list+flat=True返回的是数组 ['value1', ...]
- 如果想知道是否存在至少一个结果,使用exists,而不是使用if QuerySet;但是如果后面需要用到前面的QuerySet,那就可以使用if 判断;
# Don't waste a query if you are using the queryset
books = Book.objects.filter(..)
if len(books) > 5:
do_stuff_with_books(books)
# If you aren't using the queryset use count
books = Book.objects.filter(..)
if books.count() > 5:
do_some_stuff()
# But never
if len(Book.objects.filter(..)) > 5:
do_some_stuff()
-
在任何位置使用QuerySet.exists()或者QuerySet.count()都会导致额外的查询;
-
不要做无所谓的排序,排序并非没有代价,每个排序的字段都是数据库必须执行的操作;
-
如果要插入多条数据,则使用bulk_create来批量插入,减少sql查询的数量;
-
对于缓存的QuerySet对象使用with标签,可以让数据被缓存起来使用;
-
使用QuerySet.extra明确的指出要查询的字段;
-
批量的更新和删除则使用Queryset.update和delete函数,但是更新操作注意对象的缓存;
-
使用QuerySet.Iterator迭代大数据;
当你获得一个queryset的时候,django会缓存下来,保存在内存中,如果需要对queryset进行多次的循环,那么这种缓存无可厚非; 但是如果你只需要进行一次的循环,那么其实并不需要缓存,这个使用就可以使用iterator;
比如:
for book in Books.objects.all().iterator():
do_stuff(book)
-
如果想判断是否存在外键,只需要判断外键的id即可;
-
不要在循环中查询,而是提前取出,并且做好映射关系,这样在循环中直接通过字典的形式获取到;
-
当计算出一个QuerySet的时候,如果还需要进行多次循环的话,则可以先保留着这个缓存,但是如果只是使用一次的话,没有必要使用到缓存;
python优化:
- 排序尽量使用 .sort(), 其中使用 key 比 cmp 效率更高
参考: http://www.atjiang.com/2scoopsdjango1.8-24-finding-and-reducing-bottlenecks/