使用Pandas高效统计DataFrame各列唯一值并转换为字典

本教程详细讲解如何利用pandas库高效统计dataframe中各列的唯一值及其出现次数，并将结果转换为嵌套字典格式。我们将介绍一种简洁且避免显式循环、`apply`或`agg`方法的pythonic解决方案，通过字典推导式结合`value_counts()`和`to_dict()`实现，确保输出结构清晰、数据准确，同时避免中间数据产生`nan`值。

引言

在数据分析工作中，我们经常需要了解DataFrame中各列数据的分布情况，例如统计每一列中各个唯一值出现的频率。最终目标是将这些统计结果整理成一个特定的字典结构：外层字典的键是DataFrame的列名，值是内层字典，内层字典的键是该列的唯一值，值是其对应的出现次数。本教程将重点介绍一种高效、简洁且符合Pandas惯用法的解决方案，避免使用显式循环、apply或agg等方法，以提升代码性能和可读性。

问题描述与常见误区

假设我们有一个Pandas DataFrame，其结构如下：

import pandas as pd

data = {'Col1': [1, 2, 2, 3, 1],
        'Col2': ['A', 'B', 'B', 'A', 'C']}
df = pd.DataFrame(data)
print(df)

我们期望得到的输出是一个字典，格式如下：

{'Col1': {1: 2, 2: 2, 3: 1},
 'Col2': {'A': 2, 'B': 2, 'C': 1}}

在尝试实现这一目标时，一些常见的思路可能包括：

1. 显式循环迭代列：虽然能够达到目的，但在处理大型DataFrame时效率较低，且不够“Pandas-idiomatic”。
2. 使用df.stack().groupby(level=1).value_counts().unstack(0).to_dict()：这种方法尝试将DataFrame堆叠后进行分组计数，再进行反堆叠。然而，unstack()操作在遇到缺失值时会自动填充NaN，这会导致最终字典中出现不必要的NaN键值对，不符合我们期望的纯净计数结果。

为了避免上述问题并满足不使用显式循环、apply或agg的限制，我们需要一种更为精炼的解决方案。

核心解决方案：字典推导式

解决此问题的最简洁且高效的方法是利用Python的字典推导式（Dictionary Comprehension）结合Pandas的value_counts()和to_dict()方法。

result_dict = {col: df[col].value_counts().to_dict() for col in df}

方案详解

让我们逐步解析这个高效的解决方案：

1. for col in df:

   

   快转字幕

   新一代 AI 字幕工作站，为创作者提供字幕制作、学习资源、会议记录、字幕制作等场景，一键为您的视频生成精准的字幕。

   357

   查看详情
   • 这是字典推导式的一部分，它会遍历DataFrame df 的所有列名。在每次迭代中，col 将依次取到 'Col1'、'Col2' 等列名。

2. df[col]:

   • 在每次迭代中，df[col] 会选择当前列名 col 对应的 Series 对象。例如，当 col 是 'Col1' 时，df['Col1'] 会返回 [1, 2, 2, 3, 1] 这个 Series。

3. .value_counts():

   • 这是Pandas Series 对象的一个方法，用于统计 Series 中每个唯一值出现的次数。它会返回一个新的 Series，其中索引是唯一值，值是对应的计数。
   • 例如，df['Col1'].value_counts() 将返回：

     2    2
     1    2
     3    1
     Name: Col1, dtype: int64

     登录后复制
   • df['Col2'].value_counts() 将返回：

     A    2
     B    2
     C    1
     Name: Col2, dtype: int64

     登录后复制

4. .to_dict():

   • 这是Pandas Series 对象的另一个方法，用于将 Series 转换为一个Python字典。Series 的索引将成为字典的键，Series 的值将成为字典的值。
   • 例如，df['Col1'].value_counts().to_dict() 将返回 {2: 2, 1: 2, 3: 1}（字典内部顺序可能因Python版本而异，但键值对是正确的）。
   • df['Col2'].value_counts().to_dict() 将返回 {'A': 2, 'B': 2, 'C': 1}。

5. {col: ...}:

   • 字典推导式将上述步骤的结果整合起来。对于每个 col，它将 col 作为外层字典的键，将 df[col].value_counts().to_dict() 的结果作为该键对应的值，从而构建出最终的嵌套字典。

示例代码

下面是完整的示例代码，展示了如何应用此解决方案：

import pandas as pd

# 原始DataFrame
data = {'Col1': [1, 2, 2, 3, 1],
        'Col2': ['A', 'B', 'B', 'A', 'C']}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)
print("-" * 30)

# 使用字典推导式统计各列唯一值并转换为字典
result_dict = {col: df[col].value_counts().to_dict() for col in df}

print("生成的嵌套字典:")
print(result_dict)

输出结果:

原始DataFrame:
   Col1 Col2
0     1    A
1     2    B
2     2    B
3     3    A
4     1    C
------------------------------
生成的嵌套字典:
{'Col1': {1: 2, 2: 2, 3: 1}, 'Col2': {'A': 2, 'B': 2, 'C': 1}}

优势与注意事项

• 高效性与简洁性：此方法利用了Pandas底层的优化C/Cython实现，避免了Python层面的显式循环，因此在处理大数据集时表现出色。字典推导式本身也使得代码非常紧凑和易读。
• 避免NaN值：与某些 unstack() 方案不同，此方法直接针对每个 Series 进行计数并转换为字典，不会引入任何 NaN 值来填充空白，保证了结果的纯净性。
• Pandas惯用法：这是一种符合Pandas设计哲学的解决方案，充分利用了 Series 对象的强大功能。
• 可读性强：即使对于初学者，代码的意图也相对清晰：为DataFrame中的每一列（for col in df），获取该列的唯一值计数（df[col].value_counts()），然后将其转换为字典（.to_dict()）。

总结

通过本教程，我们学习了一种在Pandas DataFrame中高效统计各列唯一值并将其转换为指定嵌套字典结构的专业方法。利用Python的字典推导式结合Pandas Series 的 value_counts() 和 to_dict() 方法，我们能够以简洁、高性能且避免 NaN 值的方式实现这一目标。这种方法不仅提升了代码的执行效率，也增强了其可读性和维护性，是数据分析师在日常工作中处理类似需求时的推荐实践。

以上就是使用Pandas高效统计DataFrame各列唯一值并转换为字典的详细内容，更多请关注php中文网其它相关文章！