Psycopg3高效批量插入与冲突处理：executemany的正确姿势

sql = """
INSERT INTO activities (type_, key_, a, b, c, d, e)
VALUES %s
ON CONFLICT (key_) DO UPDATE
SET
    a = EXCLUDED.a,
    b = EXCLUDED.b,
    c = EXCLUDED.c,
    d = EXCLUDED.d,
    e = EXCLUDED.e
"""
values = [['type', 'key', None, None, None, None, None]] # 实际数据，每行7个元素
# cursor.executemany(sql, values)

import psycopg

# 假设这是你的原始SQL模板，其中包含一个占位符用于VALUES子句
# 注意：这里我们使用一个格式化字符串占位符 {} 来替换 VALUES 子句
base_sql_template = """
INSERT INTO activities (type_, key_, a, b, c, d, e)
VALUES {}
ON CONFLICT (key_) DO UPDATE
SET
    a = EXCLUDED.a,
    b = EXCLUDED.b,
    c = EXCLUDED.c,
    d = EXCLUDED.d,
    e = EXCLUDED.e
"""

# 待插入的数据，每个子列表代表一行，包含7个元素
values_to_insert = [
    ['type1', 'key1', 1, 2, 3, 4, 5],
    ['type2', 'key2', 6, 7, 8, 9, 10],
    ['type3', 'key3', None, None, None, None, None]
]

if not values_to_insert:
    print("没有数据可插入。")
else:
    # 1. 获取列数（取第一行数据的长度）
    num_columns = len(values_to_insert[0])

    # 2. 生成占位符字符串，例如：'%s, %s, %s'
    placeholders = ', '.join(['%s'] * num_columns)

    # 3. 将占位符用括号括起来，形成 VALUES 子句，例如：'(%s, %s, %s)'
    values_clause = f"({placeholders})"

    # 4. 将 VALUES 子句注入到原始SQL模板中
    final_sql = base_sql_template.format(values_clause)

    print("生成的最终SQL语句示例:")
    print(final_sql)

    # 建立数据库连接并执行
    try:
        # 请替换为你的实际数据库连接信息
        with psycopg.connect(dbname='test', user='your_user', password='your_password', host='localhost') as conn:
            with conn.cursor() as cur:
                cur.executemany(final_sql, values_to_insert)
                conn.commit()
                print(f"成功插入/更新 {len(values_to_insert)} 行数据。")
    except psycopg.Error as e:
        print(f"数据库操作失败: {e}")

import psycopg
from psycopg import sql

# 待插入的数据，每个子列表代表一行，包含7个元素
values_to_insert = [
    ['type1', 'key1', 1, 2, 3, 4, 5],
    ['type2', 'key2', 6, 7, 8, 9, 10],
    ['type3', 'key3', None, None, None, None, None]
]

if not values_to_insert:
    print("没有数据可插入。")
else:
    # 1. 获取列数
    num_columns = len(values_to_insert[0])

    # 2. 使用sql.Placeholder()生成与列数匹配的占位符列表
    # sql.SQL(', ').join(...) 会将多个 sql.Placeholder() 用逗号连接
    placeholders_sql = sql.SQL(', ').join(sql.Placeholder() * num_columns)

    # 3. 构建完整的SQL语句，使用 {placeholders} 作为 VALUES 子句的占位符
    # 注意：VALUES ({placeholders}) 中的括号是SQL语法的一部分
    final_sql_obj = sql.SQL("""
INSERT INTO activities (type_, key_, a, b, c, d, e)
VALUES ({placeholders})
ON CONFLICT (key_) DO UPDATE
SET
    a = EXCLUDED.a,
    b = EXCLUDED.b,
    c = EXCLUDED.c,
    d = EXCLUDED.d,
    e = EXCLUDED.e
""").format(placeholders=placeholders_sql) # 使用 .format() 注入动态生成的占位符

    # 建立数据库连接并执行
    try:
        # 请替换为你的实际数据库连接信息
        with psycopg.connect(dbname='test', user='your_user', password='your_password', host='localhost') as conn:
            with conn.cursor() as cur:
                # 打印生成的SQL语句（用于调试）
                print("使用psycopg.sql生成的最终SQL语句示例:")
                print(final_sql_obj.as_string(conn)) # as_string() 用于查看最终的SQL字符串

                cur.executemany(final_sql_obj, values_to_insert)
                conn.commit()
                print(f"成功插入/更新 {len(values_to_insert)} 行数据。")
    except psycopg.Error as e:
        print(f"数据库操作失败: {e}")