如何使用Pandas高效更新SQL表中的数据

import pandas as pd
import pyodbc as odbc

# 数据库连接字符串，请根据实际情况替换
# 例如：'DRIVER={ODBC Driver 17 for SQL Server};SERVER=your_server;DATABASE=your_database;UID=your_user;PWD=your_password'
connection_string = "<connection_stuff>" 
sql_conn = odbc.connect(connection_string)

try:
    # 1. 从数据库读取数据到DataFrame
    query = "SELECT * FROM myTable"
    df = pd.read_sql(query, sql_conn)

    # 2. 在DataFrame中更新数据
    # 假设有一个新的值列表，长度与DataFrame行数相同
    my_new_value_list = [11, 12, 13, 14, 15, 16, 17, 18, 19, 20] # 示例数据，实际应根据df行数生成
    # 确保新值列表的长度与DataFrame的行数匹配
    if len(my_new_value_list) != len(df):
        raise ValueError("新值列表的长度必须与DataFrame的行数相同。")

    # 将新值赋给DataFrame的指定列
    # 请将 'myColumn' 替换为你要更新的实际列名
    # 请将 'newColumnValues' 替换为你在DataFrame中存储新值的临时列名
    df['myColumn'] = my_new_value_list 

    # 3. 准备SQL UPDATE语句
    # 重要的：需要一个主键列来唯一标识每一行进行更新
    # 请将 '<PrimaryKeyColumn>' 替换为你的表的主键列名
    update_sql = "UPDATE myTable SET myColumn = ? WHERE <PrimaryKeyColumn> = ?"

    # 4. 遍历DataFrame并执行逐行更新
    cursor = sql_conn.cursor()
    for index, row in df.iterrows():
        # 执行UPDATE语句，第一个问号对应 myColumn 的新值，第二个问号对应主键值
        cursor.execute(update_sql, (row['myColumn'], row['<PrimaryKeyColumn>']))

    # 5. 提交事务，使更改永久生效
    sql_conn.commit()
    print(f"成功更新 {len(df)} 行数据。")

except Exception as e:
    print(f"更新过程中发生错误: {e}")
    # 发生错误时回滚事务
    sql_conn.rollback()
finally:
    # 6. 关闭游标和数据库连接
    if 'cursor' in locals() and cursor:
        cursor.close()
    if sql_conn:
        sql_conn.close()

import pandas as pd
import pyodbc as odbc
from sqlalchemy import create_engine, text

# 数据库连接字符串，请根据实际情况替换
# 对于SQL Server，示例：'mssql+pyodbc://user:password@server/database?driver=ODBC+Driver+17+for+SQL+Server'
# 注意：SQLAlchemy的连接字符串格式与pyodbc略有不同
sqlalchemy_connection_string = 'mssql+pyodbc://<connection_stuff>'
engine = create_engine(sqlalchemy_connection_string)

# 也可以保留pyodbc连接用于read_sql（如果read_sql_table更方便则不需要）
# pyodbc_connection_string = "<connection_stuff>"
# sql_conn = odbc.connect(pyodbc_connection_string)

try:
    # 1. 从数据库读取数据到DataFrame
    # 使用engine来读取，可以避免额外的pyodbc连接
    query = "SELECT * FROM myTable"
    df = pd.read_sql(query, engine)

    # 2. 在DataFrame中更新数据
    my_new_value_list = [11, 12, 13, 14, 15, 16, 17, 18, 19, 20] # 示例数据
    if len(my_new_value_list) != len(df):
        raise ValueError("新值列表的长度必须与DataFrame的行数相同。")

    # 假设要更新的列是 'myColumn'
    df['myColumn'] = my_new_value_list

    # 确保DataFrame中包含主键列，以便后续JOIN操作
    # 假设主键列为 'id'
    # df['id'] = df['id_from_db_table'] # 如果原始DataFrame中没有，需要添加

    # 3. 将修改后的DataFrame写入临时表
    temp_table_name = 'temp_myTable_update' # 临时表名
    # if_exists='replace' 会在每次运行时覆盖或创建新表
    df.to_sql(temp_table_name, engine, if_exists='replace', index=False)
    print(f"DataFrame已成功写入临时表 '{temp_table_name}'。")

    # 4. 执行SQL UPDATE...JOIN语句进行批量更新
    with engine.connect() as conn:
        # 重要的：请将 'myColumn' 替换为你要更新的实际列名
        # 请将 'id' 替换为你的表的主键列名
        update_query = text(f"""
        UPDATE myTable
        SET myColumn = temp.myColumn -- 使用临时表中的新值
        FROM myTable
        INNER JOIN {temp_table_name} AS temp
        ON myTable.id = temp.id; -- 通过主键进行连接
        """)
        conn.execute(update_query)

        # 5. 删除临时表
        drop_temp_table_query = text(f"DROP TABLE {temp_table_name};")
        conn.execute(drop_temp_table_query)

        # SQLAlchemy的conn.execute会自动提交事务，但显式commit也是好习惯
        # conn.commit() # 对于一些数据库和SQLAlchemy版本，可能需要显式提交
        print(f"主表 'myTable' 已更新，临时表 '{temp_table_name}' 已删除。")

except Exception as e:
    print(f"批量更新过程中发生错误: {e}")
    # 在发生错误时，可以尝试删除临时表以清理
    with engine.connect() as conn:
        try:
            conn.execute(text(f"DROP TABLE IF EXISTS {temp_table_name};"))
            print(f"错误发生后，已尝试删除临时表 '{temp_table_name}'。")
        except Exception as cleanup_e:
            print(f"清理临时表时发生错误: {cleanup_e}")
finally:
    # 确保引擎连接被关闭，虽然with语句通常会处理
    if engine:
        engine.dispose()