将复杂列表字典数据转换为CSV表格的Python教程

1. 理解非标准数据结构

在数据处理中，我们经常会遇到各种格式的数据。本教程所处理的数据结构如下所示：

table = [
    [{0:"title1"}, {1:"title2"}],
    [{0:"data1"}, {1:"data2"}],
    [{1:"more data2"}]
]

这种结构有几个特点：

• 最外层列表：代表整个表格。
• 每个内层列表：代表表格中的一行数据。例如，[{0:"title1"}, {1:"title2"}] 是第一行的数据片段。
• 内层列表中的字典：每个字典包含一个键值对，其中键（如0、1）代表最终CSV中的列索引，值代表该列的数据。
• 数据不完整性：不同行可能在某些列上没有数据，例如第三行只有列1的数据。

这种格式直接使用常见的CSV写入工具（如Pandas DataFrame）会遇到困难，因为它无法直接识别字典的键作为列，也无法正确处理内层列表的含义。因此，核心任务是将这种结构转换为更标准的“字典列表”形式，其中每个字典代表CSV表格中的一行，字典的键是列名（或列索引），值是对应单元格的数据。

2. 数据重塑：转换为行字典列表

将上述复杂结构转换为标准格式的关键步骤是使用列表推导式。我们的目标是将每个内层列表（代表一行数据）中的所有字典合并成一个单一的字典，其中键是列索引，值是数据。

import json # 仅用于美观地打印重塑后的数据

table = [
    [{0:"title1"}, {1:"title2"}],
    [{0:"data1"}, {1:"data2"}],
    [{1:"more data2"}]
]

# 核心数据重塑逻辑
reshaped_table = [
    {key: value for col_dict in row_parts for key, value in col_dict.items()}
    for row_parts in table
]

# 打印重塑后的数据结构，以便观察
print(json.dumps(reshaped_table, indent=4))

重塑后的数据结构预览：

立即学习“Python免费学习笔记（深入）”；

[
    {
        "0": "title1",
        "1": "title2"
    },
    {
        "0": "data1",
        "1": "data2"
    },
    {
        "1": "more data2"
    }
]

代码解析：

• for row_parts in table: 遍历最外层列表，row_parts在每次迭代中是一个内层列表（如[{0:"title1"}, {1:"title2"}]），它代表了最终CSV表格中的一行数据（但尚未合并）。
• for col_dict in row_parts: 遍历当前row_parts（内层列表）中的每个字典（如{0:"title1"}）。
• for key, value in col_dict.items(): 从当前字典中提取键和值。
• {key: value ...}: 将提取出的所有键值对组合成一个新的字典。由于Python字典的特性，如果存在重复的键，后面的值会覆盖前面的值。但在本例中，每个键（列索引）在一个row_parts中是唯一的，因此不会出现覆盖问题。

通过这一步，我们将原始数据成功转换为一个“字典列表”，每个字典代表CSV中的一行，字典的键即为列名（或列索引）。

3. 将重塑后的数据导出为CSV

有了重塑后的数据reshaped_table，我们现在可以使用两种常见的方法将其导出为CSV文件：使用Python内置的csv模块或使用pandas库。

3.1 方法一：使用Python内置的csv模块

csv模块提供了DictWriter类，它专门用于处理字典列表到CSV的写入，非常适合我们重塑后的数据。

千图设计室AI海报

千图网旗下的智能海报在线设计平台

172

查看详情

import csv

# 假设 reshaped_table 已经通过上述步骤生成
# reshaped_table = [
#     {"0": "title1", "1": "title2"},
#     {"0": "data1", "1": "data2"},
#     {"1": "more data2"}
# ]

# 定义CSV的列名（字段名）。这里是数字0和1。
# 确保包含所有可能出现的列。
fieldnames = [0, 1] 

with open("output_csv_module.csv", "w", newline="", encoding="utf-8") as file_out:
    # 创建DictWriter实例
    # fieldnames: 必须指定所有列名，用于写入CSV头和匹配字典键
    # extrasaction="ignore": 如果字典中存在 fieldnames 未包含的键，则忽略这些键，避免报错
    writer = csv.DictWriter(file_out, fieldnames=fieldnames, extrasaction="ignore")

    # 写入CSV文件头（即列名）
    writer.writeheader()

    # 写入所有行数据
    writer.writerows(reshaped_table)

print("CSV文件 'output_csv_module.csv' 已生成。")

注意事项：

• newline="": 在打开文件时，这是csv模块推荐的做法，可以防止在Windows系统上写入额外的空行。
• encoding="utf-8": 明确指定编码，避免中文或其他特殊字符乱码。
• fieldnames: 必须提供一个列表，包含所有你希望在CSV中出现的列名。这些列名会作为CSV的标题行，并且DictWriter会根据这些列名从字典中查找对应的值。
• extrasaction="ignore": 当某个字典包含的键不在fieldnames中时，DictWriter默认会抛出错误。设置为"ignore"可以忽略这些额外的键。
• 如果某个字典缺少fieldnames中定义的某个键，DictWriter会自动在该位置写入空值，这正是我们期望的行为（例如，第三行在列0处为空）。

3.2 方法二：使用Pandas库

Pandas是一个强大的数据分析库，其DataFrame对象非常适合处理表格数据，并提供了便捷的to_csv方法。

import pandas as pd

# 假设 reshaped_table 已经通过上述步骤生成
# reshaped_table = [
#     {"0": "title1", "1": "title2"},
#     {"0": "data1", "1": "data2"},
#     {"1": "more data2"}
# ]

# 将重塑后的字典列表转换为Pandas DataFrame
df = pd.DataFrame(reshaped_table)

# 将DataFrame导出为CSV文件
# index=False: 不将DataFrame的索引写入CSV文件作为额外的一列
df.to_csv("output_pandas.csv", index=False, encoding="utf-8")

print("CSV文件 'output_pandas.csv' 已生成。")

注意事项：

• pd.DataFrame(reshaped_table): Pandas能够直接识别字典列表，将每个字典转换为DataFrame的一行，字典的键自动成为列名。
• index=False: Pandas DataFrame默认会在CSV中写入一个表示行索引的列。如果不需要这个索引列，务必设置index=False。
• encoding="utf-8": 同样，为避免编码问题，建议明确指定编码。

4. 最终CSV文件内容

无论使用哪种方法，生成的CSV文件内容都将与预期一致：

output_csv_module.csv 或 output_pandas.csv 的内容：

0,1
title1,title2
data1,data2
,more data2

5. 总结

本教程展示了如何将一种特定格式的嵌套列表字典数据有效地转换为标准的CSV表格。核心步骤包括：

1. 理解数据结构：明确原始数据中各个层级的含义及其与最终CSV表格的映射关系。
2. 数据重塑：利用列表推导式将原始数据转换为更易于处理的“行字典列表”格式。这是将非标准数据转换为标准格式的关键一步。
3. 选择导出工具：根据项目需求和个人偏好，选择Python内置的csv模块（适用于轻量级或对依赖有严格要求的情况）或pandas库（适用于需要更复杂数据处理和分析的场景）进行CSV导出。

掌握这些技巧，将有助于您在面对各种复杂数据源时，灵活高效地进行数据清洗、转换与导出。

以上就是将复杂列表字典数据转换为CSV表格的Python教程的详细内容，更多请关注php中文网其它相关文章！