Python中将非标准嵌套数据结构转换为CSV表格的教程

1. 理解非标准数据结构

在数据处理中，我们经常会遇到各种非标准的数据格式。本教程将处理一种特定的嵌套列表字典结构，其形式如下：

table = [
    [{0:"title1"}, {1:"title2"}],
    [{0:"data1"}, {1:"data2"}],
    [{1:"more data2"}]
]

这种结构可以这样理解：

• 最外层列表 table 代表整个表格。
• table 中的每个内层列表（例如 [{0:"title1"}, {1:"title2"}]）代表最终CSV表格中的一行数据。
• 内层列表中的每个字典（例如 {0:"title1"}）代表该行中的一个单元格数据，其中字典的键（0或1）表示该数据所属的列索引，值（"title1"）则是单元格的具体内容。
• 需要注意的是，不同行可能在某些列上没有数据（例如第三个内层列表 [{1:"more data2"}]，它只提供了第1列的数据，第0列为空）。

直接使用pandas.DataFrame()处理此类结构时，可能会将内层列表误识别为行，或忽略字典键作为列索引的含义，导致无法生成预期的CSV表格。因此，关键步骤在于对数据进行预处理和重塑。

2. 数据重塑：转换为标准行字典列表

为了方便后续的CSV导出，我们需要将上述非标准结构转换为一个更标准的格式：一个列表，其中每个元素都是一个字典，每个字典代表CSV表格中的一行，字典的键是列名（或列索引），值是该列的数据。

通过一个简洁的列表推导式，我们可以实现这一转换：

立即学习“Python免费学习笔记（深入）”；

import json # 仅用于展示重塑后的数据结构

table_raw = [
    [{0:"title1"}, {1:"title2"}],
    [{0:"data1"}, {1:"data2"}],
    [{1:"more data2"}]
]

# 重塑数据：将原始表格转换为行字典列表
reshaped_table = [
    {key: value for col_data in row_list for key, value in col_data.items()}
    for row_list in table_raw
]

# 打印重塑后的数据结构，以便观察
print(json.dumps(reshaped_table, indent=4))

代码解析：

• 外层列表推导式 for row_list in table_raw 遍历原始数据中的每一行（即 [{0:"title1"}, {1:"title2"}] 这样的内层列表）。
• 内层字典推导式 {key: value for col_data in row_list for key, value in col_data.items()} 针对当前的 row_list：
  • for col_data in row_list 遍历 row_list 中的每一个字典（例如 {0:"title1"}）。
  • for key, value in col_data.items() 从这些字典中提取键和值。
  • 最终，所有提取出的键值对被合并到一个新的字典中，形成代表一行的完整数据。

重塑后的数据结构示例：

[
    {
        "0": "title1",
        "1": "title2"
    },
    {
        "0": "data1",
        "1": "data2"
    },
    {
        "1": "more data2"
    }
]

可以看到，数据已经被成功转换为一个列表，其中每个元素都是一个字典，字典的键是列索引，值是对应的数据。这是标准CSV导出工具可以直接处理的格式。

吉卜力风格图片在线生成

将图片转换为吉卜力艺术风格的作品

121

查看详情

3. CSV导出方法

数据重塑完成后，我们可以选择多种方式将其导出为CSV文件。这里介绍两种常用且高效的方法：使用Python内置的csv模块和使用pandas库。

3.1 方法一：使用 csv.DictWriter

Python的csv模块提供了DictWriter类，专门用于处理字典形式的数据写入CSV文件，非常适合我们重塑后的数据。

import csv

# 使用重塑后的数据
# reshaped_table = [
#     {"0": "title1", "1": "title2"},
#     {"0": "data1", "1": "data2"},
#     {"1": "more data2"}
# ]

# 定义CSV文件的列名，这里是0和1
fieldnames = [0, 1]

with open("output_by_csv_module.csv", "w", newline="", encoding="utf-8") as file_out:
    # 创建DictWriter实例
    # fieldnames: 必需，指定CSV的列顺序
    # extrasaction="ignore": 当字典中存在fieldnames未定义的键时，忽略这些键，避免报错
    writer = csv.DictWriter(file_out, fieldnames=fieldnames, extrasaction="ignore")

    # 写入CSV头部（列名）
    writer.writeheader()

    # 写入所有行数据
    writer.writerows(reshaped_table)

print("CSV文件 'output_by_csv_module.csv' 已生成。")

注意事项：

• newline="" 参数在打开文件时非常重要，它可以防止在Windows系统上写入额外的空行。
• fieldnames 参数必须提供，它定义了CSV文件的列顺序。
• extrasaction="ignore" 参数确保即使某些行字典中包含不在fieldnames列表中的键，也不会引发错误。对于缺失的列，DictWriter会自动填充为空。

3.2 方法二：使用 pandas.DataFrame().to_csv()

pandas库是Python中进行数据分析的强大工具，其DataFrame对象可以直接处理字典列表，并提供方便的to_csv方法。

import pandas

# 使用重塑后的数据
# reshaped_table = [
#     {"0": "title1", "1": "title2"},
#     {"0": "data1", "1": "data2"},
#     {"1": "more data2"}
# ]

# 将重塑后的数据转换为pandas DataFrame
df = pandas.DataFrame(reshaped_table)

# 将DataFrame导出为CSV文件
# index=False: 不将DataFrame的索引写入CSV文件
df.to_csv("output_by_pandas.csv", index=False, encoding="utf-8")

print("CSV文件 'output_by_pandas.csv' 已生成。")

注意事项：

• pandas.DataFrame(reshaped_table) 会自动识别字典的键作为列名。
• index=False 是一个常用参数，用于避免将DataFrame的默认行索引作为额外的一列写入CSV文件。

4. 预期CSV输出结果

无论使用上述哪种方法，生成的CSV文件内容都将是相同的，符合我们的预期：

0,1
title1,title2
data1,data2
,more data2

5. 总结

本教程展示了如何将一种特定的非标准嵌套列表字典数据结构有效地转换为标准的CSV表格。核心思想在于通过数据重塑，将原始数据转换为每行一个字典的格式，其中字典的键对应CSV的列名。一旦数据完成重塑，无论是使用Python内置的csv模块还是强大的pandas库，导出CSV文件都变得直观和高效。这种数据预处理的方法在处理复杂或不规则数据源时尤为重要，它能确保数据以结构化、可读性强的方式进行存储和进一步分析。在实际应用中，根据数据量和项目对依赖库的要求，可以选择最适合的导出方法。

以上就是Python中将非标准嵌套数据结构转换为CSV表格的教程的详细内容，更多请关注php中文网其它相关文章！