0

0

PostgreSQL中Python循环数据插入的陷阱与安全实践

DDD

DDD

发布时间:2025-08-31 23:25:01

|

735人浏览过

|

来源于php中文网

原创

postgresql中python循环数据插入的陷阱与安全实践

本教程深入探讨在PostgreSQL数据库中使用Python循环插入数据时常见的两个问题:计数器逻辑错误导致数据插入失败,以及使用字符串格式化构建SQL查询引发的SQL注入风险。文章将提供详细的代码示例,展示如何正确管理循环中的ID计数,并强调采用参数化查询以确保数据操作的安全性和健壮性。

在开发过程中,我们经常需要将程序中的数据列表批量插入到数据库中。虽然使用循环逐条插入数据是一种直观的方法,但在实际操作中,如果不注意一些细节,可能会遇到意想不到的问题,甚至引入安全漏洞。本教程将针对Python与PostgreSQL交互时,使用循环插入数据时常犯的两个错误进行深入分析,并提供专业的解决方案。

一、 理解循环中计数器重置的陷阱

一个常见的错误是在循环内部错误地重置了用于生成主键或唯一标识符的计数器。这会导致每次迭代都尝试使用相同的ID插入数据,从而触发数据库的唯一性约束或 ON CONFLICT 子句,使得只有第一条记录被成功插入。

考虑以下示例代码,它试图为艺术家列表生成并插入ID:

artist_name = ['Madonna', 'Slayer', 'Disturbed', 'Michael Jackson', 'Katty Parry']
with conn.cursor() as cur:
    for artists in artist_name:
        id_num = 0  # 错误:每次循环都将 id_num 重置为 0
        id_num += 1 # 结果 id_num 总是 1
        cur.execute(f"""INSERT INTO Artist (Id, Name)
                   VALUES ('{id_num}', '{artists}')
                   ON CONFLICT DO NOTHING""");
    conn.commit() # 假设在此处提交事务

问题分析: 上述代码中的核心问题在于 id_num = 0 语句被放置在 for 循环的内部。这意味着在每次循环迭代开始时,id_num 都会被重新初始化为 0,紧接着又被 id_num += 1 语句递增到 1。因此,无论列表中有多少个艺术家,所有插入操作都将尝试使用 Id = 1。

当第一条记录(例如 'Madonna')成功插入 Artist 表并获得 Id = 1 后,后续的插入操作(例如 'Slayer')也会尝试插入 Id = 1。由于表上可能存在主键或唯一约束,并且查询中使用了 ON CONFLICT DO NOTHING,这些后续的插入操作将被忽略,导致只有第一个艺术家被添加到数据库中。

立即学习Python免费学习笔记(深入)”;

解决方案: 要正确地为每条记录生成唯一的递增ID,id_num 的初始化必须在循环外部进行,确保它在整个循环过程中持续累加。

artist_name = ['Madonna', 'Slayer', 'Disturbed', 'Michael Jackson', 'Katty Parry']
with conn.cursor() as cur:
    id_num = 0  # 正确:在循环外部初始化计数器
    for artists in artist_name:
        id_num += 1 # 每次循环递增,确保唯一ID
        # ... 后续的 execute 查询将使用正确的 id_num ...
    conn.commit()

通过将 id_num = 0 移到循环之外,id_num 将在每次迭代中正确递增,从而为每个艺术家生成一个唯一的ID。

二、 规避SQL注入风险:参数化查询实践

解决了计数器问题后,我们还需要关注代码中存在的另一个严重安全隐患:使用f-string(字符串插值)直接拼接SQL查询。这种做法极易导致SQL注入攻击。

万彩商图
万彩商图

专为电商打造的AI商拍工具,快速生成多样化的高质量商品图和模特图,助力商家节省成本,解决素材生产难、产图速度慢、场地设备拍摄等问题。

下载
# 存在SQL注入风险的示例
cur.execute(f"""INSERT INTO Artist (Id, Name)
           VALUES ('{id_num}', '{artists}')
           ON CONFLICT DO NOTHING""");

问题分析: 当SQL查询字符串直接由用户提供或程序内部拼接的变量构成时,如果变量内容包含恶意的SQL代码(例如单引号、分号、DROP TABLE 等),这些恶意代码就会被当作SQL语句的一部分执行,从而绕过应用程序的预期逻辑,导致数据泄露、篡改甚至数据库结构被破坏。即使在此案例中 artists 列表是硬编码的,没有外部输入,但养成使用不安全方式的习惯,一旦代码被复用或修改以处理外部数据,风险将立即暴露。

解决方案:参数化查询 参数化查询(Parameterized Queries)是防御SQL注入最有效且推荐的方法。它通过将SQL语句的结构与数据值分离来实现。数据库驱动程序会将数据值作为独立的参数发送给数据库,而不是将它们作为SQL字符串的一部分。数据库在执行查询之前会先解析SQL语句的结构,然后再将参数安全地绑定到相应的位置。

以下是结合了计数器修正和参数化查询的完整代码示例:

import psycopg2 # 假设使用psycopg2库连接PostgreSQL

# 建立数据库连接(请替换为您的实际连接参数)
try:
    conn = psycopg2.connect(
        dbname="your_db",
        user="your_user",
        password="your_password",
        host="localhost",
        port="5432"
    )
    conn.autocommit = False # 显式管理事务
except psycopg2.Error as e:
    print(f"无法连接到数据库: {e}")
    exit()

artist_name = ['Madonna', 'Slayer', 'Disturbed', 'Michael Jackson', 'Katty Parry']

try:
    with conn.cursor() as cur:
        id_num = 0
        for artist in artist_name:
            id_num += 1
            cur.execute(
                """
                INSERT INTO Artist (Id, Name)
                VALUES (%s, %s)
                ON CONFLICT DO NOTHING
                """,
                (id_num, artist) # 使用元组传递参数,psycopg2默认使用 %s 占位符
            )
        conn.commit() # 提交事务
        print("所有艺术家数据已成功插入。")
except psycopg2.Error as e:
    conn.rollback() # 发生错误时回滚事务
    print(f"数据插入失败: {e}")
finally:
    if conn:
        conn.close() # 关闭数据库连接

参数化查询的优势:

  • 安全性: 有效防止SQL注入攻击,因为数据和SQL逻辑是分离的。
  • 性能: 数据库可以缓存已解析的SQL语句,提高重复执行的效率。
  • 可读性: SQL语句结构更清晰,易于维护。

注意事项:

  • 不同的数据库驱动程序可能使用不同的占位符。例如,psycopg2 通常使用 %s,而其他库可能使用 ? 或 :param_name。请查阅您所用数据库驱动的文档。
  • 对于PostgreSQL,如果使用 psycopg2 库,可以通过 psycopg2.extras.execute_values 实现更高效的批量插入,它能一次性发送多行数据,减少数据库往返次数。但这超出了本教程的直接范围。

三、 总结与最佳实践建议

在PostgreSQL中使用Python循环插入数据时,确保代码的正确性和安全性至关重要。

  1. 正确管理计数器: 始终将用于生成唯一ID的计数器初始化在循环外部,并在循环内部递增。这样可以确保每个插入操作都使用一个唯一的标识符。
  2. 强制使用参数化查询: 永远不要使用字符串拼接(如f-string)来构建包含变量的SQL查询。采用参数化查询是防御SQL注入攻击的黄金法则,它能有效隔离SQL逻辑与数据,提升应用程序的安全性与健壮性。
  3. 事务管理: 对于涉及多条记录的插入操作,推荐使用事务(conn.commit() 和 conn.rollback())。这可以确保所有操作要么全部成功,要么全部失败,保持数据的一致性。
  4. 考虑数据库原生ID生成: 在PostgreSQL中,更推荐使用数据库自带的序列(SERIAL 或 BIGSERIAL 类型)或 IDENTITY 列来自动生成主键ID,而不是在应用程序层面手动维护计数器。这不仅简化了应用程序逻辑,还能更好地处理并发和分布式环境下的ID生成问题。例如,将 Id 列定义为 SERIAL PRIMARY KEY,然后在 INSERT 语句中省略 Id 列,数据库会自动为其赋值。

遵循这些最佳实践,您的数据插入操作将更加可靠、高效和安全。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

731

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

631

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

749

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

617

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1238

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

547

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

576

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

705

2023.08.11

python设置中文版教程合集
python设置中文版教程合集

本专题整合了python改成中文版相关教程,阅读专题下面的文章了解更多详细内容。

1

2026.01.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.6万人学习

Django 教程
Django 教程

共28课时 | 2.8万人学习

SciPy 教程
SciPy 教程

共10课时 | 1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号