Pandas DataFrame：高效统计每列唯一值并转换为字典

本教程旨在介绍如何使用 pandas 库高效地统计 dataframe 中每一列的唯一值及其出现频率，并将结果整合成一个嵌套字典结构。我们将探讨一种简洁且避免在 dataframe 层面进行复杂迭代的方法，而是利用 pandas series 的内置优化功能，实现将列名映射到其对应唯一值计数字典的目标，从而优化数据处理和分析流程。

引言

在数据分析和处理中，我们经常需要了解 DataFrame 中各列数据的分布情况，特别是每列中不同值的出现频率。例如，在一个包含用户行为数据的 DataFrame 中，我们可能需要统计每个产品ID或事件类型出现的次数。将这些统计结果以嵌套字典的形式组织起来，即外层字典的键是列名，内层字典的键是列中的唯一值，值是其出现次数，是一种非常清晰和实用的数据结构。

问题阐述与目标

我们的目标是给定一个 Pandas DataFrame，生成一个如下结构的字典：

{'列名1': {'唯一值A': 计数A, '唯一值B': 计数B, ...},
 '列名2': {'唯一值X': 计数X, '唯一值Y': 计数Y, ...}}

例如，对于以下 DataFrame：

import pandas as pd

data = {'Col1': [1, 2, 2, 3, 1],
        'Col2': ['A', 'B', 'B', 'A', 'C']}
df = pd.DataFrame(data)

我们期望得到：

{'Col1': {1: 2, 2: 2, 3: 1},
 'Col2': {'A': 2, 'B': 2, 'C': 1}}

在实现过程中，我们希望采用一种高效且简洁的方式，尽量避免显式的行级别循环或复杂的 DataFrame 转换操作（如 apply 或 agg）。

解决方案详解

Pandas 提供了一种非常直接且高效的方法来解决这个问题，它利用了字典推导式（dictionary comprehension）和 Series 的 value_counts() 方法。

快转字幕

新一代 AI 字幕工作站，为创作者提供字幕制作、学习资源、会议记录、字幕制作等场景，一键为您的视频生成精准的字幕。

357

查看详情

核心思想是：

1. 遍历 DataFrame 的每一列（通过列名）。
2. 对于每一列，将其视为一个 Pandas Series。
3. 使用 Series 的 value_counts() 方法来统计该 Series 中每个唯一值的出现频率。
4. 将 value_counts() 的结果（一个 Series）转换为字典 (.to_dict())。
5. 将列名作为键，将转换后的字典作为值，构建最终的嵌套字典。

value_counts() 方法是 Pandas Series 提供的一个强大功能，它返回一个包含唯一值及其对应计数的 Series，默认按计数降序排列。此方法在底层经过高度优化，效率非常高。

示例代码

下面是实现上述目标的完整代码示例：

import pandas as pd

# 1. 准备示例数据
data = {'Col1': [1, 2, 2, 3, 1],
        'Col2': ['A', 'B', 'B', 'A', 'C'],
        'Col3': [True, False, True, None, True]} # 增加一列包含不同类型和缺失值

df = pd.DataFrame(data)

print("原始 DataFrame:")
print(df)
print("-" * 30)

# 2. 生成唯一值计数字典的解决方案
# 使用字典推导式遍历DataFrame的每一列
result_dict = {col: df[col].value_counts().to_dict() for col in df.columns}

print("\n生成的唯一值计数字典:")
print(result_dict)
print("-" * 30)

# 3. 验证 Col3 的结果，注意 None/NaN 的处理
# 默认情况下，value_counts() 会忽略 NaN 值
result_dict_with_nan = {col: df[col].value_counts(dropna=False).to_dict() for col in df.columns}
print("\n包含 NaN 计数的唯一值计数字典 (Col3):")
print(result_dict_with_nan['Col3'])

输出结果：

原始 DataFrame:
   Col1 Col2   Col3
0     1    A   True
1     2    B  False
2     2    B   True
3     3    A   None
4     1    C   True
------------------------------

生成的唯一值计数字典:
{'Col1': {1: 2, 2: 2, 3: 1}, 'Col2': {'A': 2, 'B': 2, 'C': 1}, 'Col3': {True: 3, False: 1}}
------------------------------

包含 NaN 计数的唯一值计数字典 (Col3):
{True: 3, False: 1, None: 1}

方法优势

1. 简洁性与可读性： 单行字典推导式使得代码极其简洁，易于理解。
2. 效率高： 尽管字典推导式涉及对列名的迭代，但每个 df[col].value_counts() 操作都是在 Pandas 内部使用 C 语言实现的，高度优化，因此整体性能非常出色，尤其对于大数据集。它避免了 Python 层面低效的逐行或逐元素循环。
3. 避免中间状态： 直接生成目标字典结构，不需要创建额外的中间 DataFrame 或 Series，减少内存消耗和计算步骤。
4. 灵活性： value_counts() 方法本身提供了 normalize（计算频率而非计数）、sort（是否排序）、ascending（升序或降序）、bins（分箱）和 dropna（是否包含 NaN 值）等参数，可以根据具体需求进行调整。

注意事项

• 缺失值（NaN）处理： value_counts() 默认会忽略 NaN 值。如果需要将 NaN 也计入统计，可以设置 dropna=False，如示例代码中所示。
• 数据类型： value_counts() 适用于各种数据类型（数值、字符串、布尔值等）。
• 大数据量DataFrame： 对于拥有极多列（例如数千列）的 DataFrame，字典推导式中的列迭代可能会带来轻微的开销。但在绝大多数实际应用场景中，这种方法都是性能和简洁性的最佳平衡点。

总结

通过利用 Pandas Series 的 value_counts() 方法和 Python 的字典推导式，我们可以高效且优雅地统计 DataFrame 中每一列的唯一值及其频率，并将其组织成一个结构清晰的嵌套字典。这种方法不仅代码简洁，而且在性能上表现出色，是处理此类数据聚合任务的推荐实践。理解并掌握这种技巧，将有助于提升您在 Pandas 数据处理中的效率和代码质量。

以上就是Pandas DataFrame：高效统计每列唯一值并转换为字典的详细内容，更多请关注php中文网其它相关文章！