Python中将SQLAlchemy模型高效序列化为JSON的多种方法-Python教程-PHP中文网

Python中将SQLAlchemy模型高效序列化为JSON的多种方法

本文探讨了在Python后端API开发中，如何将SQLAlchemy模型对象及其关联的继承字段和关系数据转换为JSON格式。针对传统方法无法处理复杂模型结构和关联数据的问题，文章详细介绍了使用SQLAlchemy-serializer、Pydantic和SQLModel这三种主流库的实现方式，并提供了详细的代码示例，帮助开发者高效、灵活地进行数据序列化，以满足前端通信需求。

在现代web应用开发中，后端api经常需要将数据库中检索到的数据以json格式返回给前端。当使用sqlalchemy作为orm时，直接将sqlalchemy模型对象转换为json并非总是直观，尤其当模型包含复杂的关系（如一对多、多对多）或继承结构时。传统的通过遍历__table__.columns来构建字典的方法，往往无法捕获到这些关联数据，导致序列化结果不完整。本文将介绍几种高效且专业的解决方案来应对这一挑战。

1. 使用 SQLAlchemy-serializer 简化序列化

SQLAlchemy-serializer是一个为SQLAlchemy模型提供简单序列化功能的混入（Mixin）库。它允许你通过继承SerializerMixin来为模型添加to_dict()方法，该方法能够自动处理模型字段和关系。

核心特性与使用方法

继承 SerializerMixin: 将 SerializerMixin 添加到你的 DeclarativeBase 或每个需要序列化的模型中。
to_dict() 方法: 继承后，模型实例将拥有 to_dict() 方法，可以直接将其转换为字典。
serialize_rules 控制递归: 对于存在循环引用（如用户拥有项目，项目又关联回用户）的关系，可以使用 serialize_rules 来指定何时停止递归，防止无限循环。

示例代码

import json
from sqlalchemy import ForeignKey, create_engine
from sqlalchemy.orm import DeclarativeBase, Mapped, mapped_column, relationship, sessionmaker
from sqlalchemy_serializer import SerializerMixin

# 定义基础模型，并混入 SerializerMixin
class Base(DeclarativeBase, SerializerMixin):
    pass

# 定义项目模型
class Project(Base):
     __tablename__="projects"
     id: Mapped[int] = mapped_column(primary_key=True)
     name: Mapped[str]
     owner_id: Mapped[int] = mapped_column(ForeignKey("users.id"))

# 定义用户模型，并指定序列化规则
class User(Base):
    __tablename__="users"
    id: Mapped[int] = mapped_column(primary_key=True)
    name: Mapped[str]
    projects: Mapped[list[Project]] = relationship(backref="owner")
    # 指定序列化规则，'-projects.owner' 表示在序列化 projects 列表时，不包含其 owner 属性，
    # 避免 user -> projects -> owner (user) 的循环引用
    serialize_rules = ('-projects.owner',)  

# 数据库初始化与会话管理
engine = create_engine("sqlite://")
Base.metadata.create_all(engine)
session_maker = sessionmaker(bind=engine)

with session_maker() as session:
    user = User(name="User1")
    user.projects.append(Project(name="Project 1"))
    user.projects.append(Project(name="Project 2"))

    session.add(user)
    session.commit()
    session.refresh(user)

    # 将模型实例转换为字典，再转换为JSON字符串
    print(json.dumps(user.to_dict()))

登录后复制

输出示例:

立即学习“Python免费学习笔记（深入）”；

{"id": 1, "projects": [{"id": 1, "name": "Project 1", "owner_id": 1}, {"id": 2, "name": "Project 2", "owner_id": 1}], "name": "User1"}

登录后复制

注意事项

SQLAlchemy-serializer提供了一种快速简便的序列化方式，特别适用于简单的API场景。
serialize_rules功能强大，可以控制包含/排除特定字段、深度以及处理循环引用。

2. 使用 Pydantic 进行数据验证与序列化

Pydantic 是一个基于 Python 类型提示的数据验证和设置管理库。它不仅能验证数据，还能方便地将复杂对象（包括 SQLAlchemy 模型）序列化为字典或JSON。通过定义与SQLAlchemy模型对应的Pydantic模型，可以实现灵活且类型安全的数据转换。

核心特性与使用方法

定义 Pydantic 模型: 为每个需要序列化的 SQLAlchemy 模型定义一个对应的 Pydantic BaseModel。
ConfigDict(from_attributes=True): 在 Pydantic 模型配置中设置 from_attributes=True（Pydantic v2+）或 orm_mode=True（Pydantic v1），允许 Pydantic 从 SQLAlchemy 模型的属性（包括关系属性）中读取数据。
model_validate() 和 model_dump_json(): 使用 Pydantic 模型的 model_validate() 方法从 SQLAlchemy 实例创建 Pydantic 实例，然后使用 model_dump_json() 方法将其序列化为 JSON 字符串。

示例代码

from sqlalchemy import ForeignKey, create_engine
from sqlalchemy.orm import DeclarativeBase, Mapped, mapped_column, relationship, sessionmaker
from pydantic import BaseModel, ConfigDict

# SQLAlchemy 基础模型
class Base(DeclarativeBase):
    pass

# SQLAlchemy 项目模型
class Project(Base):
     __tablename__="projects"
     id: Mapped[int] = mapped_column(primary_key=True)
     name: Mapped[str]
     owner_id: Mapped[int] = mapped_column(ForeignKey("users.id"))

# SQLAlchemy 用户模型
class User(Base):
    __tablename__="users"
    id: Mapped[int] = mapped_column(primary_key=True)
    name: Mapped[str]
    projects: Mapped[list[Project]] = relationship(backref="owner")


# Pydantic 项目 Schema
class ProjectScheme(BaseModel):
    model_config = ConfigDict(from_attributes=True) # 允许从ORM属性读取
    id: int
    name: str

# Pydantic 用户 Schema，包含项目列表
class UserScheme(BaseModel):
    model_config = ConfigDict(from_attributes=True) # 允许从ORM属性读取
    id: int
    name: str
    projects: list[ProjectScheme] # 嵌套 Pydantic 模型来处理关系

# 数据库初始化与会话管理
engine = create_engine("sqlite://")
Base.metadata.create_all(engine)
session_maker = sessionmaker(bind=engine)

with session_maker() as session:
    user = User(name="User1")
    user.projects.append(Project(name="Project 1"))
    user.projects.append(Project(name="Project 2"))

    session.add(user)
    session.commit()
    session.refresh(user)

    # 使用 Pydantic 模型验证并序列化 SQLAlchemy 实例
    user_json = UserScheme.model_validate(user).model_dump_json()
    print(user_json)

登录后复制

输出示例:

立即学习“Python免费学习笔记（深入）”；

{"id":1,"name":"User1","projects":[{"name":"Project 1","id":1},{"name":"Project 2","id":2}]}

登录后复制

注意事项

Pydantic 提供了强大的数据验证功能，确保输出数据的质量和类型安全。
需要为每个 SQLAlchemy 模型手动创建对应的 Pydantic 模型，这可能会增加一些样板代码。
非常适合需要严格数据验证和清晰API响应结构的场景。

3. 使用 SQLModel 简化模型定义与序列化

SQLModel 是一个结合了SQLAlchemy和Pydantic优点的库，旨在减少模型定义中的冗余。它允许你使用单一的模型定义同时作为数据库模型（SQLAlchemy）和数据验证/序列化模型（Pydantic）。

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

查看详情

核心特性与使用方法

统一模型定义: 使用 SQLModel 定义的模型既是数据库表结构，也是 Pydantic BaseModel。
Field 和 Relationship: 使用 Field 定义列属性，使用 Relationship 定义模型关系。
输出模型: 可以定义一个简化的 Pydantic 模型作为输出模型，以控制最终 JSON 的结构。

示例代码

from typing import Optional
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
from sqlmodel import SQLModel, Field, Relationship


# 定义项目基础模型（Pydantic部分）
class ProjectBase(SQLModel):
    id: Optional[int] = Field(default=None, primary_key=True)
    name: str

# 定义项目数据库模型（SQLAlchemy部分，继承ProjectBase）
class Project(ProjectBase, table=True):
    __tablename__="projects"
    owner_id: Optional[int] = Field(default=None, foreign_key="users.id")
    # 定义与User的关系，back_populates用于反向引用
    owner: "User" = Relationship(back_populates="projects")


# 定义用户基础模型（Pydantic部分）
class UserBase(SQLModel):
    id: Optional[int] = Field(default=None, primary_key=True)
    name: str

# 定义用户数据库模型（SQLAlchemy部分，继承UserBase）
class User(UserBase, table=True):
    __tablename__="users"
    # 定义与Project的关系
    projects: list[Project] = Relationship(back_populates="owner")

# 定义用于输出的Pydantic模型，可以控制输出的字段和嵌套结构
class UserOutput(UserBase):
    projects: list[ProjectBase] = [] # 使用ProjectBase作为嵌套类型

# 数据库初始化与会话管理
engine = create_engine("sqlite://")
SQLModel.metadata.create_all(engine)
session_maker = sessionmaker(bind=engine)

with session_maker() as session:
    user = User(name="User1")
    user.projects.append(Project(name="Project 1"))
    user.projects.append(Project(name="Project 2"))

    session.add(user)
    session.commit()
    session.refresh(user)

    # 使用输出模型验证并序列化
    print(UserOutput.model_validate(user).model_dump_json())

登录后复制

输出示例:

立即学习“Python免费学习笔记（深入）”；

{"id":1,"name":"User1","projects":[{"name":"Project 1","id":1},{"name":"Project 2","id":2}]}

登录后复制

注意事项

SQLModel 极大地减少了ORM模型和Pydantic模型之间的重复定义。
它内置了 Pydantic 的验证和序列化能力，使用 model_validate() 和 model_dump_json() 进行操作。
非常适合那些希望在一个地方管理数据库模式和API模式的项目。

总结与最佳实践

将 SQLAlchemy 模型序列化为 JSON 是构建 API 的关键一环。选择哪种方法取决于项目的具体需求和团队偏好：

SQLAlchemy-serializer: 适用于需要快速、简单地为现有 SQLAlchemy 模型添加序列化功能的场景，特别是对递归控制有需求时。
Pydantic: 适用于需要强大数据验证、清晰API模式定义以及类型安全的项目。它提供了最大的灵活性来定义输出结构，但需要维护两套模型（SQLAlchemy和Pydantic）。
SQLModel: 适用于希望将数据库模型和API验证/序列化模型合二为一，减少冗余代码的项目。它在易用性和功能性之间取得了很好的平衡。

无论选择哪种方法，以下是一些通用的最佳实践：

处理关系加载: 确保在序列化之前，所有需要包含在 JSON 中的关联数据都已被加载（例如，使用 session.refresh() 或在查询时使用 joinedload/selectinload）。
避免循环引用: 对于复杂的关系，务必处理循环引用，否则可能导致无限递归或性能问题。SQLAlchemy-serializer的serialize_rules和Pydantic/SQLModel的显式模型定义都能有效解决此问题。
控制输出字段: 仅输出API消费者所需的数据，避免暴露敏感信息或不必要的内部字段。Pydantic和SQLModel的输出模型非常适合实现这一点。
性能考量: 对于大量数据或深度嵌套关系，序列化操作可能会消耗较多资源。考虑分页、限制关系深度或使用更高效的序列化库。

通过上述方法，开发者可以根据项目需求，灵活高效地将 SQLAlchemy 模型转换为结构清晰、易于消费的 JSON 数据，从而构建健壮的后端API。

以上就是Python中将SQLAlchemy模型高效序列化为JSON的多种方法的详细内容，更多请关注php中文网其它相关文章！