Django ORM高效左连接：prefetch_related深度解析与实践-Python教程-PHP中文网

Django ORM高效左连接：prefetch_related深度解析与实践

聖光之護

发布： 2025-10-07 14:06:28

原创

421人浏览过

Django ORM高效左连接：prefetch_related深度解析与实践

本文深入探讨了在Django中如何高效地执行父子表的左连接查询，以获取所有父记录及其关联的子记录（包括没有子记录的父记录）。我们对比了select_related和原始SQL查询的局限性，并重点介绍了Django ORM提供的prefetch_related方法，解释了其工作原理、优势以及在避免数据冗余和优化数据库查询方面的作用，提供了清晰的代码示例。

理解Django中的关联查询需求

在数据库应用开发中，我们经常需要查询关联表的数据。一个常见的场景是，我们需要获取所有父表记录，并附带查询其关联的子表记录，即使某些父表记录没有对应的子表记录，也应被包含在结果中。这在sql中通常通过left join（左连接）实现。

例如，我们有State（州）和City（城市）两个模型，一个州可以有多个城市。我们的目标是获取所有州的信息，以及它们包含的城市信息，包括那些暂时没有城市的州。

模型定义：

from django.db import models

class State(models.Model):
  name = models.CharField(max_length=25)
  abbreviation = models.CharField(max_length=2)

  def __str__(self):
    return self.name # 更好的__str__表示

class City(models.Model):
  name = models.CharField(max_length=25)
  population = models.IntegerField()
  state = models.ForeignKey(State, related_name="cities", on_delete=models.CASCADE)

  def __str__(self):
    return self.name # 更好的__str__表示

登录后复制

select_related的局限性

Django ORM提供了select_related方法用于优化关联查询。它通过在数据库层面执行INNER JOIN或LEFT JOIN（取决于ForeignKey字段的可空性），将关联对象的数据包含在同一查询结果中，从而减少数据库查询次数。

cities_states = City.objects.all().select_related('state').order_by('state_id')

登录后复制

然而，select_related的主要限制在于它主要用于“一对一”或“多对一”关系的反向查询（即从子模型查询父模型），并且其默认行为更接近于INNER JOIN。这意味着如果一个State没有关联的City，那么这个State将不会出现在cities_states的查询结果中。这与我们期望的“获取所有State，包括没有City的State”的左连接需求不符。

原始SQL查询的挑战

当Django ORM无法直接满足复杂查询需求时，开发者可能会考虑使用Manager.raw()方法执行原始SQL查询。

sql = '''
SELECT S.*, C.* 
FROM "state" S
LEFT JOIN "city" C
ON (S."id" = C."state_id") 
ORDER BY S."id" ASC
'''
cities_states = State.objects.raw(sql)

for obj in cities_states:
  print(obj)

登录后复制

这种方法确实能够实现标准的LEFT JOIN，但随之而来的是几个问题：

字段名冲突处理： 当父表和子表都存在相同名称的字段（如id、name）时，raw()查询返回的对象会优先使用父表（State）的字段值。例如，obj.name将始终返回State的名称，而无法直接通过obj.city_name或类似方式访问City的名称，除非在SQL查询中为City的字段设置别名（如C.name AS city_name）。
ORM对象整合： raw()查询返回的是RawQuerySet，其中的每个元素都是一个模型实例。虽然可以访问其字段，但它并不完全等同于一个完整的Django ORM对象，无法直接调用关联方法（如obj.cities.all()）。
数据冗余： 原始SQL的LEFT JOIN会为每个关联的子记录重复父记录的数据。如果一个州有多个城市，那么州的信息会在结果集中重复多次，这会增加数据库传输的数据量和客户端的内存消耗，尤其是在处理大量数据时，效率会显著降低。

prefetch_related：Django ORM的推荐方案

为了解决上述问题并高效地实现类似左连接的父子数据获取，Django ORM提供了prefetch_related方法。prefetch_related是处理“一对多”、“多对多”以及“泛型外键”关系的最佳实践。

工作原理：

百度GBI

百度GBI-你的大模型商业分析助手

104

查看详情

与select_related在数据库层面执行JOIN不同，prefetch_related的工作方式是：

执行主查询： 首先，它会执行一个独立的查询来获取主模型（例如State）的所有实例。
执行关联查询： 接着，它会执行一个或多个独立的查询来获取所有关联模型（例如City）的实例，并根据主查询的结果进行过滤。
Python端连接： 最后，Django在Python内存中将这些关联对象“连接”到各自的主模型实例上。

这种方法避免了数据库层面的大量JOIN操作可能带来的性能开销和数据冗余。对于左连接场景，它能够确保所有父记录都被获取，即使它们没有关联的子记录。

示例代码：

# 使用 prefetch_related 获取所有State及其关联的City
states = State.objects.prefetch_related('cities')

for state in states:
    print(f'州: {state.name} ({state.abbreviation})')
    # state.cities.all() 不会触发额外的数据库查询，因为它已经被预取了
    if state.cities.exists(): # 检查是否有城市
        for city in state.cities.all():
            print(f'  - 城市: {city.name}, 人口: {city.population}')
    else:
        print('  - 暂无城市记录')

# 预期输出示例：
# 州: Texas (TX)
#   - 城市: Dallas, 人口: 1259404
#   - 城市: Houston, 人口: 2264876
# 州: California (CA)
#   - 城市: Los Angeles, 人口: 3769485
# 州: Illinois (IL)
#   - 暂无城市记录

登录后复制

在这个例子中，State.objects.prefetch_related('cities')会执行两个数据库查询：

SELECT "state"."id", "state"."name", "state"."abbreviation" FROM "state"
SELECT "city"."id", "city"."name", "city"."population", "city"."state_id" FROM "city" WHERE "city"."state_id" IN (1, 2, 3) (假设查询到的State ID为1, 2, 3)

然后，Django会在内存中将这些城市分配给对应的州对象。当您访问state.cities.all()时，不会再触发新的数据库查询，因为相关数据已经被预加载。

prefetch_related的优势

避免数据冗余： 父对象的数据不会重复，减少了数据库传输的数据量和内存消耗。
处理“一对多”关系： 完美适用于从父模型获取其所有子模型的场景。
减少数据库查询次数： 虽然不是一个查询，但它将N+1查询问题（一个父对象查询，N个子对象查询）优化为2个查询（一个父对象查询，一个子对象查询），效率显著提升。
支持所有类型的关系： 包括ForeignKey、ManyToManyField和GenericForeignKey。
清晰的ORM语义： 代码更符合Django ORM的哲学，易于理解和维护。

注意事项与最佳实践

选择合适的预取策略：
- 当您需要获取主对象及其关联的“一对一”或“多对一”对象时，优先考虑select_related，因为它能通过单次JOIN在数据库层面完成，效率更高。
- 当您需要获取主对象及其关联的“一对多”或“多对多”对象时，prefetch_related是更好的选择，它通过两次（或更多）查询和Python端连接来优化性能。
避免过度预取： 仅预取您确实需要的数据。预取过多不必要的数据会增加内存消耗。
链式调用： prefetch_related可以链式调用，预取多层关系。例如：State.objects.prefetch_related('cities__restaurants')。
自定义预取： prefetch_related还支持更高级的自定义预取，例如使用Prefetch对象进行更精细的控制，如过滤预取的数据或使用自定义查询集。

总结

在Django中实现父子表的左连接查询，并高效地获取所有父记录及其可选的子记录，prefetch_related是比select_related或原始SQL查询更优越的解决方案。它通过巧妙地将数据库查询分为两步并在Python内存中完成关联，有效地避免了数据冗余、减少了数据库负载，并提供了清晰、符合ORM习惯的代码。理解并正确运用prefetch_related是编写高性能Django应用的关键。

以上就是Django ORM高效左连接：prefetch_related深度解析与实践的详细内容，更多请关注php中文网其它相关文章！