Python中将复杂嵌套数据转换为CSV表格的教程

1. 理解原始数据结构

在处理复杂数据时，首要任务是准确理解其当前格式。本教程所面对的数据结构如下所示：

table = [
    [{0:"title1"}, {1:"title2"}],
    [{0:"data1"}, {1:"data2"}],
    [{1:"more data2"}]
]

这种结构可以这样解读：

• 外层列表 (table)：代表整个表格。列表中的每个元素都是表格的一行。
• 内层列表 (例如 [{0:"title1"}, {1:"title2"}])：代表表格中的一行数据。
• 字典 (例如 {0:"title1"})：代表该行中的一个单元格。字典的键（如0或1）表示该单元格所属的列索引，值（如"title1"）则是单元格的实际内容。

需要注意的是，由于数据可能不规则，某些行可能在特定列上没有数据（如第三行 [{1:"more data2"}]，缺少列0的数据）。我们的目标是将这种结构转换为标准的CSV格式，其中列索引（0, 1等）将成为CSV的列头。

2. 数据重塑：核心步骤

为了将上述结构导出为CSV，我们需要将其转换为更标准的形式：一个由字典组成的列表，其中每个字典代表一行，且字典的键直接对应CSV的列名。

我们可以使用列表推导式（list comprehension）高效地完成这一重塑：

立即学习“Python免费学习笔记（深入）”；

import json # 仅用于展示重塑后的数据结构

table_original = [
    [{0:"title1"}, {1:"title2"}],
    [{0:"data1"}, {1:"data2"}],
    [{1:"more data2"}]
]

# ------------------
# 将表格重塑为由字典组成的列表（每字典代表一行）
# ------------------
reshaped_table = [
    {key: value for cell_dict in row for key, value in cell_dict.items()}
    for row in table_original
]
# ------------------

# ------------------
# 查看重塑后的数据结构
# ------------------
print(json.dumps(reshaped_table, indent=4))
# ------------------

执行上述代码后，reshaped_table 将变为：

[
    {
        "0": "title1",
        "1": "title2"
    },
    {
        "0": "data1",
        "1": "data2"
    },
    {
        "1": "more data2"
    }
]

解析重塑逻辑：

• 外层 for row in table_original：遍历原始表格的每一行（即 [{0:"title1"}, {1:"title2"}] 这样的内层列表）。
• 内层 {key: value for cell_dict in row for key, value in cell_dict.items()}：对于当前行的内层列表（row），它会遍历其中的每个单元格字典（cell_dict，如 {0:"title1"}）。然后，它将这些单元格字典中的所有键值对（key: value）收集到一个新的字典中。如果同一行中存在相同键，后面的值会覆盖前面的。
• 最终，每个原始的“行”列表都被转换成了一个扁平的行字典，其中键 0 和 1 现在代表了CSV的列。

3. 将重塑后的数据导出为CSV

数据重塑完成后，我们有两种主要方法将其导出为CSV文件：使用Python内置的csv模块或使用强大的Pandas库。

百度智能云·曦灵

百度旗下的AI数字人平台

83

查看详情

3.1 方法一：使用 csv 模块 (DictWriter)

csv.DictWriter 是处理字典列表并将其写入CSV文件的理想工具。它能够自动将字典的键映射到CSV的列头。

import csv

# 使用上面重塑后的数据
# reshaped_table = [...]

output_filename_csv = "output_csv_module.csv"

with open(output_filename_csv, "w", newline="", encoding="utf-8") as file_out:
    # 定义CSV的列名。这些列名必须与reshaped_table中字典的键匹配。
    # 这里我们知道列是0和1。
    fieldnames = [0, 1]

    # extrasaction="ignore" 表示如果字典中存在fieldnames未定义的键，则忽略它们。
    # restval="" 表示如果字典中缺少fieldnames中定义的键，则该单元格留空。
    writer = csv.DictWriter(file_out, fieldnames=fieldnames, extrasaction="ignore", restval="")

    # 写入CSV文件头
    writer.writeheader()

    # 写入所有数据行
    writer.writerows(reshaped_table)

print(f"数据已使用 csv 模块导出到 {output_filename_csv}")

注意事项：

• newline="": 在打开文件时，这是csv模块推荐的做法，可以防止在Windows上写入额外的空行。
• encoding="utf-8": 明确指定编码，避免乱码问题。
• fieldnames: 必须提供一个列表，包含所有预期的列名。这些列名将作为CSV文件的第一行（标题行），并且DictWriter会根据这些列名从字典中查找对应的值。
• extrasaction="ignore": 当字典中包含fieldnames未指定的键时，DictWriter会默认抛出错误。设置为"ignore"可以忽略这些额外的键。
• restval="": 当字典中缺少fieldnames中指定的键时，DictWriter会默认将该单元格留空。

3.2 方法二：使用 Pandas 库

Pandas 是一个功能强大的数据分析库，它提供了一个DataFrame对象，非常适合处理表格数据，并能轻松导出为CSV。

import pandas

# 使用上面重塑后的数据
# reshaped_table = [...]

output_filename_pandas = "output_pandas.csv"

# 将重塑后的列表数据转换为Pandas DataFrame
df = pandas.DataFrame(reshaped_table)

# 将DataFrame导出为CSV文件
# index=False 表示不将DataFrame的行索引写入CSV文件
df.to_csv(output_filename_pandas, index=False, encoding="utf-8")

print(f"数据已使用 Pandas 导出到 {output_filename_pandas}")

注意事项：

• pandas.DataFrame(reshaped_table)：Pandas能够智能地识别字典列表，并将其键作为列名，值作为数据。
• index=False: 默认情况下，to_csv会写入DataFrame的行索引作为CSV的第一列。如果不需要，应将其设置为False。
• Pandas在处理缺失值时会自动填充NaN，在CSV中通常表现为空白。

4. 预期CSV输出

无论使用哪种方法，生成的CSV文件内容都将是相同的，如下所示：

0,1
title1,title2
data1,data2
,more data2

这正是我们期望的表格结构，其中第一行是列头（0和1），后续行是数据，并且缺失的数据（如第三行中列0的数据）被正确地留空。

总结

将复杂嵌套数据结构转换为标准CSV格式的关键在于数据重塑。通过将原始的行内单元格字典合并为统一的行字典，我们创建了一个适合CSV导出的中间数据结构。随后，无论是使用Python内置的csv模块（提供更精细的控制）还是Pandas库（提供更简洁的API和强大的数据处理能力），都能高效、准确地将数据导出为所需的CSV文件。理解原始数据的实际含义以及重塑过程的逻辑，是成功处理此类转换任务的基础。

以上就是Python中将复杂嵌套数据转换为CSV表格的教程的详细内容，更多请关注php中文网其它相关文章！