北京微网站设计制作服务,模板免费下载网站,面向企业的电子商务,网站追踪如何做知识预览 QuerySet中介模型查询优化extra整体插入回到顶部QuerySet 可切片 使用Python 的切片语法来限制查询集记录的数目 。它等同于SQL 的LIMIT 和OFFSET 子句。 1 Entry.objects.all()[:5] # (LIMIT 5) Entry.objects.all()[5:10] # (OFFSE… 知识预览 QuerySet中介模型查询优化extra整体插入 回到顶部 QuerySet 可切片 使用Python 的切片语法来限制查询集记录的数目 。它等同于SQL 的LIMIT 和OFFSET 子句。 1 Entry.objects.all()[:5] # (LIMIT 5) Entry.objects.all()[5:10] # (OFFSET 5 LIMIT 5) 不支持负的索引例如Entry.objects.all()[-1]。通常查询集 的切片返回一个新的查询集 —— 它不会执行查询。 可迭代 articleListmodels.Article.objects.all()for article in articleList:print(article.title) 惰性查询 查询集 是惰性执行的 —— 创建查询集不会带来任何数据库的访问。你可以将过滤器保持一整天直到查询集 需要求值时Django 才会真正运行这个查询。 1 2 3 4 5 6 queryResultmodels.Article.objects.all() # not hits database print(queryResult) # hits database for article in queryResult: print(article.title) # hits database 一般来说只有在“请求”查询集 的结果时才会到数据库中去获取它们。当你确实需要结果时查询集 通过访问数据库来求值。 关于求值发生的准确时间参见何时计算查询集。 缓存机制 每个查询集都包含一个缓存来最小化对数据库的访问。理解它是如何工作的将让你编写最高效的代码。 在一个新创建的查询集中缓存为空。首次对查询集进行求值 —— 同时发生数据库查询 ——Django 将保存查询的结果到查询集的缓存中并返回明确请求的结果例如如果正在迭代查询集则返回下一个结果。接下来对该查询集 的求值将重用缓存的结果。 请牢记这个缓存行为因为对查询集使用不当的话它会坑你的。例如下面的语句创建两个查询集对它们求值然后扔掉它们 1 2 print([a.title for a in models.Article.objects.all()]) print([a.create_time for a in models.Article.objects.all()]) 这意味着相同的数据库查询将执行两次显然倍增了你的数据库负载。同时还有可能两个结果列表并不包含相同的数据库记录因为在两次请求期间有可能有Article被添加进来或删除掉。为了避免这个问题只需保存查询集并重新使用它 1 2 3 queryResultmodels.Article.objects.all() print([a.title for a in queryResult]) print([a.create_time for a in queryResult]) 何时查询集不会被缓存? 查询集不会永远缓存它们的结果。当只对查询集的部分进行求值时会检查缓存 如果这个部分不在缓存中那么接下来查询返回的记录都将不会被缓存。所以这意味着使用切片或索引来限制查询集将不会填充缓存。 例如重复获取查询集对象中一个特定的索引将每次都查询数据库 1 2 3 queryset Entry.objects.all() print queryset[5] # Queries the database print queryset[5] # Queries the database again 然而如果已经对全部查询集求值过则将检查缓存 1 2 3 4 queryset Entry.objects.all() [entry for entry in queryset] # Queries the database print queryset[5] # Uses cache print queryset[5] # Uses cache 下面是一些其它例子它们会使得全部的查询集被求值并填充到缓存中 1 2 3 4 [entry for entry in queryset] bool(queryset) entry in queryset list(queryset) 注简单地打印查询集不会填充缓存。 View Code exists()与iterator()方法 exists 简单的使用if语句进行判断也会完全执行整个queryset并且把数据放入cache虽然你并不需要这些 数据为了避免这个可以用exists()方法来检查是否有数据 if queryResult.exists():#SELECT (1) AS a FROM blog_article LIMIT 1; args()print(exists...) iterator: 当queryset非常巨大时cache会成为问题。 处理成千上万的记录时将它们一次装入内存是很浪费的。更糟糕的是巨大的queryset可能会锁住系统 进程让你的程序濒临崩溃。要避免在遍历数据的同时产生queryset cache可以使用iterator()方法 来获取数据处理完数据就将其丢弃。 objs Book.objects.all().iterator()
# iterator()可以一次只从数据库获取少量数据这样可以节省内存
for obj in objs:print(obj.title)
#BUT,再次遍历没有打印,因为迭代器已经在上一次遍历(next)到最后一次了,没得遍历了
for obj in objs:print(obj.title) 当然使用iterator()方法来防止生成cache意味着遍历同一个queryset时会重复执行查询。所以使 #用iterator()的时候要当心确保你的代码在操作一个大的queryset时没有重复执行查询。 总结: queryset的cache是用于减少程序对数据库的查询在通常的使用下会保证只有在需要的时候才会查询数据库。 使用exists()和iterator()方法可以优化程序对内存的使用。不过由于它们并不会生成queryset cache可能 会造成额外的数据库查询。 回到顶部 中介模型 处理类似搭配 pizza 和 topping 这样简单的多对多关系时使用标准的ManyToManyField 就可以了。但是有时你可能需要关联数据到两个模型之间的关系上。 例如有这样一个应用它记录音乐家所属的音乐小组。我们可以用一个ManyToManyField 表示小组和成员之间的多对多关系。但是有时你可能想知道更多成员关系的细节比如成员是何时加入小组的。 对于这些情况Django 允许你指定一个中介模型来定义多对多关系。 你可以将其他字段放在中介模型里面。源模型的ManyToManyField 字段将使用through 参数指向中介模型。对于上面的音乐小组的例子代码如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 from django.db import models class Person(models.Model): name models.CharField(max_length128) def __str__(self): # __unicode__ on Python 2 return self.name class Group(models.Model): name models.CharField(max_length128) members models.ManyToManyField(Person, throughMembership) def __str__(self): # __unicode__ on Python 2 return self.name class Membership(models.Model): person models.ForeignKey(Person) group models.ForeignKey(Group) date_joined models.DateField() invite_reason models.CharField(max_length64) 既然你已经设置好ManyToManyField 来使用中介模型在这个例子中就是Membership接下来你要开始创建多对多关系。你要做的就是创建中介模型的实例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 ringo Person.objects.create(nameRingo Starr) paul Person.objects.create(namePaul McCartney) beatles Group.objects.create(nameThe Beatles) m1 Membership(personringo, groupbeatles, ... date_joineddate(1962, 8, 16), ... invite_reasonNeeded a new drummer.) m1.save() beatles.members.all() [Person: Ringo Starr] ringo.group_set.all() [Group: The Beatles] m2 Membership.objects.create(personpaul, groupbeatles, ... date_joineddate(1960, 8, 1), ... invite_reasonWanted to form a band.) beatles.members.all() [Person: Ringo Starr, Person: Paul McCartney] 与普通的多对多字段不同你不能使用add、 create和赋值语句比如beatles.members [...]来创建关系 1 2 3 4 5 6 # THIS WILL NOT WORK beatles.members.add(john) # NEITHER WILL THIS beatles.members.create(nameGeorge Harrison) # AND NEITHER WILL THIS beatles.members [john, paul, ringo, george] 为什么不能这样做 这是因为你不能只创建 Person和 Group之间的关联关系你还要指定 Membership模型中所需要的所有信息而简单的add、create 和赋值语句是做不到这一点的。所以它们不能在使用中介模型的多对多关系中使用。此时唯一的办法就是创建中介模型的实例。 remove()方法被禁用也是出于同样的原因。但是clear() 方法却是可用的。它可以清空某个实例所有的多对多关系 1 2 3 4 5 # Beatles have broken up beatles.members.clear() # Note that this deletes the intermediate model instances Membership.objects.all() [] 回到顶部 查询优化 表数据 View Code select_related 简单使用 对于一对一字段OneToOneField和外键字段ForeignKey可以使用select_related 来对QuerySet进行优化。 select_related 返回一个QuerySet当执行它的查询时它沿着外键关系查询关联的对象的数据。它会生成一个复杂的查询并引起性能的损耗但是在以后使用外键关系时将不需要数据库查询。 简单说在对QuerySet使用select_related()函数后Django会获取相应外键对应的对象从而在之后需要的时候不必再查询数据库了。 下面的例子解释了普通查询和select_related() 查询的区别。 查询id2的文章的分类名称,下面是一个标准的查询 1 2 3 4 5 # Hits the database. articlemodels.Article.objects.get(nid2) # Hits the database again to get the related Blog object. print(article.category.title) View Code 如果我们使用select_related()函数 1 2 3 4 5 6 7 articleListmodels.Article.objects.select_related(category).all() for article_obj in articleList: # Doesnt hit the database, because article_obj.category # has been prepopulated in the previous query. print(article_obj.category.title) View Code 多外键查询 这是针对category的外键查询如果是另外一个外键呢让我们一起看下 1 2 articlemodels.Article.objects.select_related(category).get(nid1) print(article.articledetail) 观察logging结果发现依然需要查询两次所以需要改为 1 2 articlemodels.Article.objects.select_related(category,articledetail).get(nid1) print(article.articledetail) 或者 articlemodels.Article.objects .select_related(category) .select_related(articledetail) .get(nid1) # django 1.7 支持链式操作
print(article.articledetail) View Code 深层查询 1 2 3 4 # 查询id1的文章的用户姓名 articlemodels.Article.objects.select_related(blog).get(nid1) print(article.blog.user.username) 依然需要查询两次 View Code 这是因为第一次查询没有query到userInfo表所以修改如下 1 2 articlemodels.Article.objects.select_related(blog__user).get(nid1) print(article.blog.user.username) View Code 总结 select_related主要针一对一和多对一关系进行优化。select_related使用SQL的JOIN语句进行优化通过减少SQL查询的次数来进行优化、提高性能。可以通过可变长参数指定需要select_related的字段名。也可以通过使用双下划线“__”连接字段名来实现指定的递归查询。没有指定的字段不会缓存没有指定的深度不会缓存如果要访问的话Django会再次进行SQL查询。也可以通过depth参数指定递归的深度Django会自动缓存指定深度内所有的字段。如果要访问指定深度外的字段Django会再次进行SQL查询。也接受无参数的调用Django会尽可能深的递归查询所有的字段。但注意有Django递归的限制和性能的浪费。Django 1.7链式调用的select_related相当于使用可变长参数。Django 1.7链式调用会导致前边的select_related失效只保留最后一个。 prefetch_related() 对于多对多字段ManyToManyField和一对多字段可以使用prefetch_related()来进行优化。 prefetch_related()和select_related()的设计目的很相似都是为了减少SQL查询的数量但是实现的方式不一样。后者是通过JOIN语句在SQL查询内解决问题。但是对于多对多关系使用SQL语句解决就显得有些不太明智因为JOIN得到的表将会很长会导致SQL语句运行时间的增加和内存占用的增加。若有n个对象每个对象的多对多字段对应Mi条就会生成Σ(n)Mi 行的结果表。 prefetch_related()的解决方法是分别查询每个表然后用Python处理他们之间的关系。 1 2 3 4 5 # 查询所有文章关联的所有标签 article_objmodels.Article.objects.all() for i in article_obj: print(i.tags.all()) #4篇文章: hits database 5 改为prefetch_related 1 2 3 4 5 # 查询所有文章关联的所有标签 article_objmodels.Article.objects.prefetch_related(tags).all() for i in article_obj: print(i.tags.all()) #4篇文章: hits database 2 View Code 回到顶部 extra extra(selectNone, whereNone, paramsNone, tablesNone, order_byNone, select_paramsNone) 有些情况下Django的查询语法难以简单的表达复杂的 WHERE 子句对于这种情况, Django 提供了 extra() QuerySet修改机制 — 它能在 QuerySet生成的SQL从句中注入新子句 extra可以指定一个或多个 参数,例如 select, where or tables. 这些参数都不是必须的但是你至少要使用一个!要注意这些额外的方式对不同的数据库引擎可能存在移植性问题.(因为你在显式的书写SQL语句),除非万不得已,尽量避免这样做 参数之select The select 参数可以让你在 SELECT 从句中添加其他字段信息它应该是一个字典存放着属性名到 SQL 从句的映射。 queryResultmodels.Article .objects.extra(select{is_recent: create_time 2017-09-05}) 结果集中每个 Entry 对象都有一个额外的属性is_recent, 它是一个布尔值表示 Article对象的create_time 是否晚于2017-09-05. 练习 # in sqlite:article_objmodels.Article.objects .filter(nid1) .extra(select{standard_time:strftime(%%Y-%%m-%%d,create_time)}) .values(standard_time,nid,title)print(article_obj)# QuerySet [{title: MongoDb 入门教程, standard_time: 2017-09-03, nid: 1}] 参数之where / tables 您可以使用where定义显式SQL WHERE子句 - 也许执行非显式连接。您可以使用tables手动将表添加到SQL FROM子句。 where和tables都接受字符串列表。所有where参数均为“与”任何其他搜索条件。 举例来讲 queryResultmodels.Article .objects.extra(where[nid in (1,3) OR title like py% ,nid2]) 回到顶部 整体插入 创建对象时尽可能使用bulk_create()来减少SQL查询的数量。例如 Entry.objects.bulk_create([Entry(headlinePython 3.0 Released),Entry(headlinePython 3.1 Planned)
])...更优于 Entry.objects.create(headlinePython 3.0 Released)
Entry.objects.create(headlinePython 3.1 Planned)注意该方法有很多注意事项所以确保它适用于你的情况。 这也可以用在ManyToManyFields中所以 my_band.members.add(me, my_friend)...更优于 my_band.members.add(me)
my_band.members.add(my_friend)...其中Bands和Artists具有多对多关联。转载于:https://www.cnblogs.com/wangmo/p/8360397.html
