Django ORM中实现高效父子表左连接的策略

1. 引言：Django中父子表左连接的挑战

在关系型数据库中，左连接（left join）是一种常见的操作，用于从左表（父表）中检索所有记录，并匹配右表（子表）中相关的记录。如果右表中没有匹配项，则右表的列将显示为null。在django orm中，实现这种“检索所有父记录及其关联子记录，包括没有子记录的父记录”的需求，需要选择合适的策略来确保查询效率和数据可访问性。

考虑以下父子模型结构：State（州）作为父表，City（城市）作为子表。一个州可以有多个城市，但一个城市只属于一个州。

# models.py
from django.db import models

class State(models.Model):
  name = models.CharField(max_length=25)
  abbreviation = models.CharField(max_length=2)

  def __str__(self):
    return f"State: {self.name} ({self.abbreviation})"


class City(models.Model):
  name = models.CharField(max_length=25)
  population = models.IntegerField()
  state = models.ForeignKey(State, related_name="cities", on_delete=models.CASCADE)

  def __str__(self):
    return f"City: {self.name} (Population: {self.population})"

我们的目标是获取所有州的信息，以及每个州下属的所有城市信息。即使某个州没有任何城市，我们也希望该州的信息能被检索出来。

2. 传统方法的局限性

2.1 使用 select_related 的问题

select_related 是Django ORM中用于优化一对一和多对一关系查询的强大工具。它通过在数据库层面执行SQL JOIN 操作来一次性检索相关联的对象数据，从而减少数据库查询次数。然而，select_related 默认执行的是 INNER JOIN，这意味着如果子表中没有匹配的记录，父记录将不会被包含在结果集中。

示例代码：

# 尝试使用 select_related
cities_states = City.objects.all().select_related('state').order_by('state_id')

for city in cities_states:
    print(f"City: {city.name}, State: {city.state.name}")

问题分析： 上述代码只会返回那些拥有至少一个城市的州及其城市信息。例如，如果伊利诺伊州（Illinois）没有任何城市记录，那么它将不会出现在 cities_states 的结果中。这不符合我们“检索所有父记录”的需求。

2.2 使用原生SQL查询的问题

直接编写原生SQL进行左连接可以实现所需的数据结果，但这在Django ORM中会引入新的挑战。

示例SQL查询：

SELECT S.*, C.*
FROM "state" S
LEFT JOIN "city" C
ON (S."id" = C."state_id")
ORDER BY S."id" ASC;

在Django中使用 raw 方法：

sql = '''
SELECT S.id AS state_id, S.name AS state_name, S.abbreviation,
       C.id AS city_id, C.name AS city_name, C.population, C.state_id AS city_state_id
FROM "state" S
LEFT JOIN "city" C
ON (S."id" = C."state_id")
ORDER BY S."id" ASC
'''

states_with_cities_raw = State.objects.raw(sql)

for obj in states_with_cities_raw:
    # 访问州的信息
    print(f"State ID: {obj.state_id}, Name: {obj.state_name}, Abbreviation: {obj.abbreviation}")
    # 访问城市的信息（如果存在）
    # 注意：如果城市不存在，city_id, city_name等字段将为None
    if obj.city_id:
        print(f"  City ID: {obj.city_id}, Name: {obj.city_name}, Population: {obj.population}")
    else:
        print("  No city listed.")

问题分析：

表单大师AI

一款基于自然语言处理技术的智能在线表单创建工具，可以帮助用户快速、高效地生成各类专业表单。

74

查看详情

1. 列名冲突与访问： 当父表和子表包含同名字段（如 id 和 name）时，直接使用 obj.id 或 obj.name 可能会导致混淆，默认情况下通常会映射到 State 模型的字段。为了区分，必须在SQL查询中为子表的字段设置别名（如 C.id AS city_id, C.name AS city_name）。
2. 数据冗余： 这种扁平化的结果会导致父表数据（State）在有多个子记录（City）时被重复多次。例如，一个州有两个城市，那么该州的信息将在结果集中出现两次。这会显著增加从数据库传输的数据量，并可能导致Django在处理这些重复数据时消耗更多的内存。
3. ORM集成度低： 使用 raw 查询虽然强大，但它绕过了ORM的许多便利功能，如自动类型转换、字段验证以及后续的ORM链式操作。

3. 推荐方案：使用 prefetch_related

prefetch_related 是Django ORM中实现“左连接”需求，并优化一对多或多对多关系查询的推荐方法。它通过执行两次独立的数据库查询来工作：

1. 第一次查询获取主模型（父表）的所有记录。
2. 第二次查询获取所有相关联的子模型记录，并通过Python代码在内存中将它们“连接”起来。

这种方法避免了 select_related 的 INNER JOIN 限制，也解决了原生SQL查询中的数据冗余和列名冲突问题。

工作原理：

• prefetch_related('cities') 会首先查询所有的 State 对象。
• 接着，它会查询所有 City 对象，并根据 state_id 将它们分组。
• 最后，在Python中，它将这些 City 对象高效地附加到各自的 State 对象上，通过 state.cities.all() 即可访问。

示例代码：

# 使用 prefetch_related
states = State.objects.prefetch_related('cities')

for state in states:
    print(f"--- State: {state.name} ({state.abbreviation}) ---")
    # 通过 related_name 访问关联的城市
    if state.cities.exists(): # 检查是否有城市
        for city in state.cities.all():
            print(f"  - City: {city.name}, Population: {city.population}")
    else:
        print("  No cities listed for this state.")

优点：

1. 包含所有父记录： 即使州没有任何城市，State 对象也会被检索出来。
2. 避免数据冗余： State 数据只在第一次查询中获取一次，不会因关联的城市数量而重复。
3. 避免列名冲突： State 和 City 对象是独立的，它们的字段名不会冲突。通过 state.name 访问州名，通过 city.name 访问城市名。
4. 高效内存利用： 虽然执行了两次查询，但在内存中连接通常比处理大量重复数据更高效。
5. ORM集成度高： 保持了Django ORM的优势，可以继续链式调用其他ORM方法。

4. select_related 与 prefetch_related 的选择

总结：

• 当您需要通过外键获取单个相关对象，并且不关心父对象是否没有子对象时，使用 select_related。它执行 INNER JOIN，效率很高。
• 当您需要获取所有父对象及其所有相关联的子对象集合（一对多或多对多），并且必须包含没有子对象的父对象时，使用 prefetch_related。它执行两次查询并在Python中连接，是实现逻辑上“左连接”的最佳实践。

5. 结论

在Django ORM中处理父子表的左连接需求时，prefetch_related 是一个强大且高效的解决方案。它不仅能确保检索到所有父记录及其关联的子记录（包括没有子记录的父记录），还能有效避免原生SQL查询可能带来的数据冗余和列名冲突问题。通过理解 select_related 和 prefetch_related 的工作原理及其适用场景，开发者可以根据具体需求选择最合适的查询优化策略，从而构建出更健壮、性能更优的Django应用。

以上就是Django ORM中实现高效父子表左连接的策略的详细内容，更多请关注php中文网其它相关文章！