Django中高效实现父子表左连接：理解prefetch_related的优势

1. 场景概述与模型定义

在数据库应用中，我们经常遇到一对多（one-to-many）关系，例如一个州（state）可以拥有多个城市（city）。我们的目标是查询所有州的信息，并同时获取每个州下属的城市列表，即使某个州当前没有城市，也应被包含在查询结果中。

首先，定义相关的Django模型：

from django.db import models

class State(models.Model):
  name = models.CharField(max_length=25)
  abbreviation = models.CharField(max_length=2)

  def __str__(self):
    return f"{self.name} ({self.abbreviation})"


class City(models.Model):
  name = models.CharField(max_length=25)
  population = models.IntegerField()
  state = models.ForeignKey(State, related_name="cities", on_delete=models.CASCADE)

  def __str__(self):
    return f"{self.name} (State: {self.state.name})"

在这个模型中，City通过外键state关联到State，并且related_name="cities"允许我们从State对象反向访问其关联的City对象。

2. 传统方法的局限性

为了实现上述目标，开发者可能会尝试使用select_related或原生SQL查询。然而，这些方法在特定场景下存在明显不足。

2.1 使用 select_related

select_related是Django ORM用于优化一对一和多对一关系查询的工具，它通过在数据库层面执行SQL JOIN操作来减少查询次数。

# 尝试使用 select_related
cities_with_states = City.objects.all().select_related('state').order_by('state_id')

for city in cities_with_states:
    print(f"City: {city.name}, State: {city.state.name}")

局限性分析：select_related默认执行的是INNER JOIN（或在外键null=True时执行LEFT JOIN），它从“子表”的角度出发进行查询。这意味着，上述查询只会返回那些拥有关联州（State）的城市（City）记录。如果一个州没有任何城市，它将不会出现在cities_with_states的结果集中。因此，select_related无法满足“获取所有州，包括没有城市的州”的需求。

2.2 使用原生SQL查询

直接编写SQL LEFT JOIN语句似乎是解决此问题的直接方法：

sql = '''
SELECT S.*, C.* 
FROM "app_state" S  -- 假设应用名为 'app'
LEFT JOIN "app_city" C
ON (S."id" = C."state_id") 
ORDER BY S."id" ASC
'''

states_cities_raw = State.objects.raw(sql)

for obj in states_cities_raw:
  # 打印州信息
  print(f"State ID: {obj.id}, Name: {obj.name}, Abbreviation: {obj.abbreviation}")
  # 如何访问城市信息？
  # obj.city_name? obj.city_id?

局限性分析：

1. 字段名冲突： 当父表和子表拥有相同名称的字段（如id和name）时，原生SQL查询结果会包含这些重复的字段名。在使用State.objects.raw()将结果映射到State模型实例时，obj.id和obj.name通常会优先指向State表的字段。要访问City表的同名字段，需要在SQL中为这些字段设置别名（例如 C.id AS city_id, C.name AS city_name），然后在Python代码中通过这些别名访问。这增加了复杂性，且raw()查询主要用于获取模型对象，直接获取关联表的字段并不直观。
2. 数据冗余： LEFT JOIN的SQL结果会为每个关联的子记录重复父记录的所有信息。例如，如果一个州有三个城市，那么这个州的信息会在结果集中出现三次。这导致数据库返回的数据量增大，增加了网络传输开销和Python端处理内存的消耗。
3. ORM对象不完整： State.objects.raw()会尝试将每一行结果映射成State对象。虽然你可以通过别名访问City的字段，但这些City字段并不会被封装成City模型实例，而是作为State对象上的额外属性，失去了ORM的便利性。

3. 最佳实践：使用 prefetch_related

prefetch_related是Django ORM处理一对多和多对多关系时实现“左连接”效果的推荐方式。它通过执行两次独立的数据库查询来优化数据获取，并在Python内存中将结果关联起来。

表单大师AI

一款基于自然语言处理技术的智能在线表单创建工具，可以帮助用户快速、高效地生成各类专业表单。

74

查看详情

工作原理：

1. 第一次查询： 获取所有父记录（例如，所有State对象）。
2. 第二次查询： 获取所有与这些父记录关联的子记录（例如，所有City对象，通过外键过滤）。
3. 内存中关联： Django在Python代码中将子记录分配给它们对应的父记录，避免了数据库层面的重复数据。

优势：

• 满足需求： 能够获取所有父记录，包括没有子记录的父记录。
• 效率高： 避免了数据库层面的数据冗余，减少了网络传输和内存消耗。对于包含大量子记录的父记录，其效率远高于原生SQL的LEFT JOIN。
• ORM友好： 返回的是完整的ORM对象，可以自然地通过state.cities.all()访问关联的城市列表。
• 无字段名冲突： 由于父子对象是独立获取并在内存中关联的，不存在字段名冲突问题。

实现示例：

# 使用 prefetch_related
states = State.objects.prefetch_related('cities')

for state in states:
    print(f"州: {state.name} ({state.abbreviation})")

    # 通过 related_name 访问关联的城市
    # state.cities.all() 会返回一个 QuerySet，其中包含了预取的数据
    if state.cities.exists(): # 检查是否有城市
        for city in state.cities.all():
            print(f"  - 城市: {city.name} (人口: {city.population})")
    else:
        print("  - 该州暂无城市记录。")

这段代码将执行以下两个查询（大致模拟）：

1. SELECT "app_state"."id", "app_state"."name", "app_state"."abbreviation" FROM "app_state"
2. SELECT "app_city"."id", "app_city"."name", "app_city"."population", "app_city"."state_id" FROM "app_city" WHERE "app_city"."state_id" IN (1, 2, 3) (其中1, 2, 3是第一次查询获取到的州ID)

然后，Django在Python中将这些城市分配给相应的州对象。

4. 总结与选择建议

在Django中实现父子表“左连接”效果时：

• select_related： 适用于一对一或多对一关系，当你需要为每个子对象获取其唯一的父对象，并且只关心那些有父对象的子对象时。它执行的是数据库层面的JOIN。
• prefetch_related： 适用于一对多或多对多关系，当你需要为每个父对象获取其所有子对象，并且需要包含所有父对象（无论它们是否有子对象）时。它通过执行两次独立的查询并在Python内存中进行关联，从而避免了数据冗余和字段名冲突。
• 原生SQL查询： 仅在ORM无法满足复杂查询需求时作为备选方案。使用时需注意字段名冲突、数据冗余和手动结果映射的复杂性。

综上所述，对于获取所有父记录及其关联的子记录（包括没有子记录的父记录）的场景，prefetch_related是Django ORM中最高效、最符合Pythonic风格的解决方案。它既保证了查询的正确性，又优化了性能和代码的可读性。

以上就是Django中高效实现父子表左连接：理解prefetch_related的优势的详细内容，更多请关注php中文网其它相关文章！