0

0

SQLAlchemy 批量插入时正确获取自动生成时间戳的完整方案

心靈之曲

心靈之曲

发布时间:2025-12-30 15:49:26

|

646人浏览过

|

来源于php中文网

原创

SQLAlchemy 批量插入时正确获取自动生成时间戳的完整方案

本文详解在 sqlalchemy 中使用 `bulk_save_objects` 进行高效批量插入时,如何确保 `created_at`/`updated_at` 等数据库默认时间字段被正确回填并返回,同时对比 `add_all` 与 `bulk_save_objects` 的适用场景及性能差异。

在 Flask + MySQL 应用中,批量插入大量记录(如学生成绩)时,为兼顾性能与数据完整性,开发者常面临一个关键矛盾:bulk_save_objects 虽然执行快、网络开销小,但默认不触发 ORM 层的默认值处理逻辑(如 server_default 和 onupdate),导致 created_at/updated_at 字段在 Python 对象中仍为 None;而 add_all() + commit() 虽能自动填充这些字段,却因逐条注册和 flush 开销,在大数据量下显著拖慢性能。

✅ 正确解法:bulk_save_objects + return_defaults=True + 显式 flush

核心要点是:仅设置 return_defaults=True 不够,必须配合 session.flush()(而非 commit())才能将数据库生成的默认值同步回 Python 对象实例。
db.session.commit() 会提交事务,但 return_defaults 的值回填发生在 flush 阶段 —— 即 SQL 发送至数据库并收到响应后立即完成。若跳过 flush 直接 commit,对象状态未更新,created_at/updated_at 仍为空。

以下是修正后的推荐实现:

from sqlalchemy import exc

@staticmethod
def create_student_scores(
    student_scores: list[StudentScore],
) -> list[StudentScore]:
    # 构建模型实例列表(不设 created_at/updated_at,交由 DB 填充)
    student_scores_model: list[StudentScoresModel] = [
        StudentScoresModel(
            id=str(uuid.uuid4()),
            student_id=ss.student_id,
            attribute_id=ss.attribute_id,
            score=ss.score,
        ) for ss in student_scores
    ]

    try:
        # 关键步骤:bulk_save_objects + return_defaults=True + flush()
        db.session.bulk_save_objects(student_scores_model, return_defaults=True)
        db.session.flush()  # ← 必须!使 server_default 值写回对象属性

        # 此时所有 student_scores_model[i].created_at / updated_at 已为 datetime 实例
        return [
            model.convert_to_entity() 
            for model in student_scores_model
        ]
    except exc.SQLAlchemyError as e:
        db.session.rollback()
        raise e
⚠️ 注意事项:return_defaults=True 仅对 server_default(如 func.now())、default(Python 端默认值)及主键自增生效;onupdate 仅在后续更新时触发,首次插入时 updated_at 与 created_at 均由 server_default 填充。MySQL 中 func.now() 在 server_default 下是服务端时间,确保一致性;避免使用 default=func.now()(客户端时间,易偏差)。bulk_save_objects 不调用 __init__ 或事件钩子(如 @event.listens_for(..., 'before_insert')),如有依赖 ORM 事件的逻辑,需改用 add_all + bulk_insert_mappings 或分批处理。

为什么 add_all() + commit() 不是最佳选择?

虽然以下写法能自动填充时间字段:

db.session.add_all(student_scores_model)
db.session.commit()  # created_at/updated_at 自动可用

但它本质是 N 条 INSERT 语句(或受 bulk_insert_mappings 优化为多值 INSERT),且每条记录都经历完整 ORM 生命周期(state tracking、dirty checking、event dispatch)。当插入 10,000+ 记录时,内存占用和 CPU 开销远高于 bulk_save_objects,实测性能可能下降 3–5 倍。

HaiSnap
HaiSnap

一站式AI应用开发和部署工具

下载

✅ 替代高性能方案:bulk_insert_mappings

若模型字段较固定、无需实例方法(如 convert_to_entity),可进一步提升性能:

mappings = [
    {
        "id": str(uuid.uuid4()),
        "student_id": ss.student_id,
        "attribute_id": ss.attribute_id,
        "score": ss.score,
    }
    for ss in student_scores
]
db.session.bulk_insert_mappings(StudentScoresModel, mappings, return_defaults=True)
db.session.flush()  # 同样必须 flush 才能取回默认值

bulk_insert_mappings 绕过模型实例化,直接构造 SQL,是纯批量插入的最快路径,适合 ETL 或日志类场景。

总结

方法 性能 默认值回填 ORM 事件支持 推荐场景
bulk_save_objects(..., return_defaults=True) + flush() ★★★★★ ✅(需 flush) 通用首选:需实例方法 + 高性能
bulk_insert_mappings(..., return_defaults=True) + flush() ★★★★★★ ✅(需 flush) 纯数据导入、字段简单
add_all() + commit() ★★☆ ✅(自动) 小批量(

牢记:return_defaults=True 是开关,flush() 是执行器——二者缺一不可,方能在高性能前提下,完整获得数据库生成的时间戳。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

714

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

625

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

738

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

617

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1235

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

547

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

574

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

697

2023.08.11

JavaScript 性能优化与前端调优
JavaScript 性能优化与前端调优

本专题系统讲解 JavaScript 性能优化的核心技术,涵盖页面加载优化、异步编程、内存管理、事件代理、代码分割、懒加载、浏览器缓存机制等。通过多个实际项目示例,帮助开发者掌握 如何通过前端调优提升网站性能,减少加载时间,提高用户体验与页面响应速度。

3

2025.12.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.5万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 776人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号