Pandas DataFrame到多层嵌套字典的转换技巧

本文详细介绍了如何利用pandas库将表格数据（dataframe）高效转换为多层嵌套字典。通过使用`pd.dataframe.pivot`方法，结合`to_dict()`，可以轻松实现以特定列作为外部键和内部键，并以另一列作为值的数据结构，从而满足快速按层级访问数据的需求。文章提供了具体代码示例，并强调了这种转换的实用性与效率。

在数据处理和分析中，我们经常需要将扁平化的表格数据（如Pandas DataFrame）转换为更具层次感的嵌套字典结构。这种转换在需要通过多个键层级访问数据时尤为有用，例如，从一个队伍名称获取其不同指标的百分比。本文将详细阐述如何利用Pandas的强大功能，高效地实现这种数据结构的转换。

问题场景与传统方法的局限性

假设我们有一个包含队伍、指标类型（X或Y）及其对应百分比的DataFrame，结构如下：

我们期望的输出是一个嵌套字典，其结构为：{'Team': {'X或Y': 'Percentage'}}。例如：

{'A': {'X': '80%', 'Y': '20%'},
 'B': {'X': '70%', 'Y': '30%'},
 'C': {'X': '60%', 'Y': '40%'}}

初学者可能会尝试使用Python原生的zip函数来构建字典，例如先创建内部字典，再将其作为值赋给外部字典。然而，这种方法往往会遇到挑战。例如，如果尝试 dict(zip(list2, list3))，其中list2是“X or Y”列，由于“X”和“Y”值在多行中重复出现，直接使用它们作为字典键会导致键冲突，最终只会保留最后一个重复键对应的值，无法正确构建所需的嵌套结构。

解决方案：利用 pd.DataFrame.pivot

Pandas库提供了pivot方法，它是解决此类数据重塑问题的理想工具。pivot方法允许我们将DataFrame从“长”格式转换为“宽”格式，并指定哪些列作为新的索引、哪些作为新的列，以及哪些作为填充新单元格的值。

pd.DataFrame.pivot方法接受三个主要参数：

• index: 指定用作新DataFrame索引的列名。这通常会成为我们最终嵌套字典的外部键。
• columns: 指定用作新DataFrame列的列名。这通常会成为我们最终嵌套字典的内部键。
• values: 指定用于填充新DataFrame单元格的值的列名。

示例代码：

快转字幕

新一代 AI 字幕工作站，为创作者提供字幕制作、学习资源、会议记录、字幕制作等场景，一键为您的视频生成精准的字幕。

357

查看详情

首先，我们创建示例DataFrame：

import pandas as pd

data = {
    'Team': ['A', 'A', 'B', 'B', 'C', 'C'],
    'X or Y': ['X', 'Y', 'X', 'Y', 'X', 'Y'],
    'Percentage': ['80%', '20%', '70%', '30%', '60%', '40%']
}
df = pd.DataFrame(data)

print("原始 DataFrame:")
print(df)

输出：

原始 DataFrame:
  Team X or Y Percentage
0    A      X        80%
1    A      Y        20%
2    B      X        70%
3    B      Y        30%
4    C      X        60%
5    C      Y        40%

接下来，应用pivot方法并将其转换为字典：

# 使用 pivot 方法重塑 DataFrame
# index='Team' 将 Team 列作为新的行索引
# columns='X or Y' 将 'X or Y' 列的值作为新的列名
# values='Percentage' 将 Percentage 列的值填充到新的单元格中
pivoted_df = df.pivot(index='Team', columns='X or Y', values='Percentage')

print("\n重塑后的 DataFrame (pivot 结果):")
print(pivoted_df)

# 将重塑后的 DataFrame 转换为字典
# to_dict() 默认会生成 {column_name: {index_value: cell_value}} 的结构
nested_dict = pivoted_df.to_dict('index') # 'index' 参数确保外层键是原DataFrame的索引

print("\n最终生成的嵌套字典:")
print(nested_dict)

输出：

重塑后的 DataFrame (pivot 结果):
X or Y    X    Y
Team            
A       80%  20%
B       70%  30%
C       60%  40%

最终生成的嵌套字典:
{'A': {'X': '80%', 'Y': '20%'}, 'B': {'X': '70%', 'Y': '30%'}, 'C': {'X': '60%', 'Y': '40%'}}

通过上述步骤，我们成功地将扁平的DataFrame转换成了所需的嵌套字典结构。pivot方法首先将DataFrame重塑为以Team为行索引，X or Y为列索引，Percentage为值的形式。然后，to_dict('index')方法将这个重塑后的DataFrame转换为我们期望的嵌套字典，其中每个外层键对应一个队伍，其值为一个包含指标百分比的内层字典。

注意事项与总结

1. 唯一性要求: pivot方法要求index和columns参数组合起来的值必须是唯一的。如果存在相同的index和columns组合，pivot将抛出ValueError。在需要处理非唯一组合并进行聚合（例如求和、平均值）的情况下，应考虑使用pd.DataFrame.pivot_table方法，它提供了aggfunc参数来指定聚合函数。
2. 数据类型: 在本例中，Percentage列的值是字符串。如果它们是数字（例如80而不是'80%'），转换过程依然相同，字典中存储的将是数值。
3. 效率: 对于大型DataFrame，pivot方法通常比手动迭代和构建字典更高效，因为它利用了Pandas底层的优化C语言实现。

总之，当需要将Pandas DataFrame从扁平结构转换为多层嵌套字典时，pd.DataFrame.pivot结合to_dict()提供了一个简洁、高效且符合Pandas习惯的解决方案。理解其参数和工作原理，能够帮助开发者更灵活地处理和转换数据。

以上就是Pandas DataFrame到多层嵌套字典的转换技巧的详细内容，更多请关注php中文网其它相关文章！