将Python列表数据高效写入SQL Server数据库表

[['ID', '001'], ['Name', 'Jon'], ['Score', '90'], ['Semester', 'Fall']]
[['ID', '002'], ['Name', 'Ama'], ['Score', '87'], ['Semester', 'Fall']]

from ast import literal_eval

def parse_data_from_file(filepath):
    """
    从指定文件中读取每行数据，并使用ast.literal_eval解析为Python列表。
    同时将[['Field', 'Value']]格式转换为['Value']格式。

    Args:
        filepath (str): 数据文件的路径。

    Returns:
        list: 包含所有解析后的行数据的列表，每行是一个值的列表。
    """
    parsed_rows = []
    try:
        with open(filepath, 'r', encoding='utf-8') as file:
            for line in file:
                # 移除行尾的换行符并解析为Python列表对象
                line_data = literal_eval(line.strip())
                # 从[['Field', 'Value']]格式中提取'Value'
                row_values = [value for field, value in line_data]
                parsed_rows.append(row_values)
    except FileNotFoundError:
        print(f"错误：文件 '{filepath}' 未找到。")
    except ValueError as e:
        print(f"错误：解析文件内容时发生问题 - {e}。请检查文件格式是否正确。")
    except Exception as e:
        print(f"发生未知错误：{e}")
    return parsed_rows

# 示例使用
file_path = 'files.txt' # 假设你的数据存储在这个文件中
# 确保 files.txt 包含如下内容（每行一个列表的字符串表示）:
# [['ID', '001'], ['Name', 'Jon'], ['Score', '90'], ['Semester', 'Fall']]
# [['ID', '002'], ['Name', 'Ama'], ['Score', '87'], ['Semester', 'Fall']]

processed_data = parse_data_from_file(file_path)
print("解析后的数据：")
for row in processed_data:
    print(row)

# 预期输出:
# ['001', 'Jon', '90', 'Fall']
# ['002', 'Ama', '87', 'Fall']

import pyodbc # 以pyodbc为例，你需要安装它：pip install pyodbc

def insert_data_to_database(data_to_insert, connection_string, table_name, column_names):
    """
    将处理后的数据批量插入到SQL Server数据库表。

    Args:
        data_to_insert (list): 包含待插入数据的列表，每个元素是一个行的值的列表。
        connection_string (str): 数据库连接字符串。
        table_name (str): 目标数据库表的名称。
        column_names (list): 目标表的列名列表，顺序需与data_to_insert中的值顺序一致。
    """
    conn = None
    cursor = None
    try:
        # 建立数据库连接
        # 示例连接字符串，请根据你的SQL Server配置进行修改
        # conn_str = (
        #     "DRIVER={ODBC Driver 17 for SQL Server};"
        #     "SERVER=your_server_name;"
        #     "DATABASE=your_database_name;"
        #     "UID=your_username;"
        #     "PWD=your_password"
        # )
        conn = pyodbc.connect(connection_string)
        cursor = conn.cursor()

        # 构建INSERT语句
        # 使用问号 (?) 作为参数占位符，适用于许多ODBC驱动
        # 如果是其他驱动，占位符可能不同（例如psycopg2使用%s，sqlite3使用?）
        placeholders = ', '.join(['?' for _ in column_names])
        columns_str = ', '.join(column_names)
        insert_sql = f"INSERT INTO {table_name} ({columns_str}) VALUES ({placeholders})"

        # 执行批量插入
        cursor.executemany(insert_sql, data_to_insert)

        # 提交事务
        conn.commit()
        print(f"成功将 {len(data_to_insert)} 条数据插入到表 '{table_name}'。")

    except pyodbc.Error as ex:
        sqlstate = ex.args[0]
        print(f"数据库操作失败：SQLSTATE {sqlstate} - {ex}")
        if conn:
            conn.rollback() # 发生错误时回滚事务
    except Exception as e:
        print(f"发生未知错误：{e}")
    finally:
        if cursor:
            cursor.close()
        if conn:
            conn.close()

# 示例使用
# 1. 定义你的数据库连接字符串
# 请替换为你的实际数据库连接信息
db_connection_string = (
    "DRIVER={ODBC Driver 17 for SQL Server};"
    "SERVER=localhost;" # 或者你的服务器IP/名称
    "DATABASE=TestDB;"  # 你的数据库名称
    "UID=sa;"           # 你的用户名
    "PWD=your_password;" # 你的密码
)

# 2. 定义目标表名和列名
target_table = "yourTable" # 替换为你的实际表名
# 确保列名顺序与 processed_data 中值的顺序一致
table_columns = ["ID", "Name", "Score", "Semester"]

# 3. 准备要插入的数据（使用之前解析好的数据）
# processed_data = [['001', 'Jon', '90', 'Fall'], ['002', 'Ama', '87', 'Fall']] # 假设这是从文件解析来的

# 4. 执行插入操作
insert_data_to_database(processed_data, db_connection_string, target_table, table_columns)