Python中怎样优化数据库写入？批量插入与事务控制-Python教程-PHP中文网

Python中怎样优化数据库写入？批量插入与事务控制

星夢妙者

发布： 2025-07-01 18:12:02

原创

914人浏览过

提升python数据库写入效率的核心方法是批量插入与事务控制。1. 批量插入通过减少数据库交互次数提高效率，常用方法包括使用executemany()和postgresql特有的copy_from()；2. 事务控制确保数据一致性，通过begin、commit、rollback或上下文管理器实现；3. 方法选择依据数据库类型和数据量，postgresql推荐copy_from()，小数据量可用executemany()；4. 错误处理可通过异常捕获、分批插入和数据库日志实现；5. 避免sql注入应采用参数化查询、输入验证和安全函数；6. 其他优化手段包括索引优化、连接池、异步写入和硬件升级；7. 监控性能可借助数据库工具、第三方工具或自定义脚本。

Python中怎样优化数据库写入？批量插入与事务控制

提升Python数据库写入效率，核心在于减少与数据库的交互次数，并确保数据一致性。批量插入和事务控制是两个关键策略。

批量插入与事务控制

为什么单条插入效率低？

想象一下，你每次给朋友寄东西都跑一趟快递站，效率肯定不如攒一堆一起寄。数据库也是一样，每次INSERT都意味着一次网络通信、权限验证、磁盘I/O等等。这些开销累积起来，单条插入的效率自然就下去了。

立即学习“Python免费学习笔记（深入）”；

解决方案：批量插入

批量插入就是把多次插入操作合并成一次，减少了数据库交互的次数。

方法一：使用executemany()

executemany()是Python数据库驱动（如psycopg2 for PostgreSQL, mysql.connector for MySQL）提供的批量执行SQL语句的方法。它接收一个SQL语句和一个参数列表，每个参数对应一条记录。

import psycopg2

conn = psycopg2.connect(database="your_db", user="your_user", password="your_password", host="your_host", port="your_port")
cur = conn.cursor()

data = [
    ('Alice', 25),
    ('Bob', 30),
    ('Charlie', 35)
]

sql = "INSERT INTO users (name, age) VALUES (%s, %s)"

try:
    cur.executemany(sql, data)
    conn.commit()
    print("批量插入成功")
except Exception as e:
    conn.rollback()
    print(f"批量插入失败: {e}")
finally:
    cur.close()
    conn.close()

登录后复制

方法二：使用copy_from() (PostgreSQL 特有)

图可丽批量抠图

用AI技术提高数据生产力，让美好事物更容易被发现

查看详情

copy_from()是PostgreSQL特有的方法，它允许你直接从一个文件或类似文件的对象复制数据到数据库，效率非常高。

import psycopg2
import io

conn = psycopg2.connect(database="your_db", user="your_user", password="your_password", host="your_host", port="your_port")
cur = conn.cursor()

data = [
    ('Alice', 25),
    ('Bob', 30),
    ('Charlie', 35)
]

# 将数据转换为字符串，并用换行符分隔
csv_data = io.StringIO('\n'.join(['\t'.join(map(str, row)) for row in data]))

try:
    cur.copy_from(csv_data, 'users', sep='\t', columns=('name', 'age'))
    conn.commit()
    print("使用 copy_from 批量插入成功")
except Exception as e:
    conn.rollback()
    print(f"使用 copy_from 批量插入失败: {e}")
finally:
    cur.close()
    conn.close()

登录后复制

为什么事务控制很重要？

想象一下，你在银行转账，如果转账过程中突然断电，你的钱扣了，对方没收到，那就麻烦了。事务控制就是为了保证数据的一致性，要么全部成功，要么全部失败。

解决方案：事务控制

事务控制使用BEGIN, COMMIT, ROLLBACK等SQL命令，或者Python数据库驱动提供的上下文管理器。

import psycopg2

conn = psycopg2.connect(database="your_db", user="your_user", password="your_password", host="your_host", port="your_port")

data = [
    ('Alice', 25),
    ('Bob', 30),
    ('Charlie', 35)
]

sql = "INSERT INTO users (name, age) VALUES (%s, %s)"

try:
    with conn.cursor() as cur: # 使用上下文管理器自动处理事务
        cur.executemany(sql, data)
        conn.commit() # 提交事务
        print("批量插入成功")
except Exception as e:
    conn.rollback() # 回滚事务
    print(f"批量插入失败: {e}")
finally:
    conn.close()

登录后复制