Python Pandas：高效生成DataFrame列数据类型与唯一值统计表-Python教程-PHP中文网

Python Pandas：高效生成DataFrame列数据类型与唯一值统计表

花韻仙語

发布： 2025-07-19 22:24:02

原创

1103人浏览过

python pandas：高效生成dataframe列数据类型与唯一值统计表

本文详细介绍了如何使用Python Pandas库，为DataFrame中的所有列生成一个结构化的统计表。该表将清晰展示每列的名称、数据类型、唯一的取值及其数量，为数据探索和预处理提供直观的概览，尤其适用于处理包含大量列的数据集。

引言：数据概览的重要性

在数据分析和机器学习项目中，深入理解数据集的结构和内容是至关重要的第一步。对于一个Pandas DataFrame，了解每列的数据类型（Dtype）以及其中包含的唯一值（Unique Values）及其数量，能够帮助我们快速识别潜在的数据质量问题、数据类型不匹配，或者发现分类变量的基数（Cardinality）。手动检查每个列既耗时又容易出错，尤其当DataFrame包含数十甚至上百个列时。因此，构建一个自动化的、可扩展的列特征统计表显得尤为必要。

核心方法：构建列特征统计表

为了生成一个包含列名、数据类型、唯一值列表和唯一值数量的汇总表，我们可以通过迭代DataFrame的每一列来实现。以下是具体的实现步骤和示例代码。

1. 准备示例DataFrame

首先，我们创建一个示例DataFrame，以便演示后续的操作：

import pandas as pd

# 创建示例DataFrame
df = pd.DataFrame({
    'letter': ['a','b','c','a','b','c'],
    'state': ['CA','FL','CA','FL','CA','FL'],
    'scores': [11.6,12.8,13.9,14.2,15.8,16.2],
    'age': [12,28,19,14,12,28]
})
print("原始DataFrame:")
print(df)

登录后复制

2. 迭代并提取列信息

我们将遍历DataFrame的所有列。对于每一列，我们需要获取其数据类型、提取所有唯一的取值，并将这些唯一值转换为字符串形式以便于在汇总表中显示。同时，统计唯一值的数量也是一个非常有用的指标。

立即学习“Python免费学习笔记（深入）”；

# 初始化列表用于存储提取的信息
column_names = []
data_types = []
unique_values_list = []
unique_counts = []

# 遍历DataFrame的每一列
for col in df.columns:
    column_names.append(col) # 列名
    data_types.append(str(df[col].dtype)) # 数据类型

    # 获取唯一值，并转换为字符串列表，然后用逗号连接
    unique_vals = df[col].unique()
    # 将每个唯一值转换为字符串，以防出现非字符串类型（如数字、布尔值）
    unique_vals_str = [str(x) for x in unique_vals] 
    unique_values_list.append(', '.join(unique_vals_str))

    unique_counts.append(len(unique_vals)) # 唯一值数量

登录后复制

3. 构建结果DataFrame

最后，我们将收集到的所有信息汇聚到一个新的Pandas DataFrame中，形成我们所需的列特征统计表。

表单大师AI

一款基于自然语言处理技术的智能在线表单创建工具，可以帮助用户快速、高效地生成各类专业表单。

查看详情

# 构建结果DataFrame
summary_df = pd.DataFrame({
    'Column Name': column_names,
    'Dtype': data_types,
    'Unique Values': unique_values_list,
    'Unique Count': unique_counts
})

print("\n列特征统计表:")
print(summary_df)

登录后复制

输出示例：

原始DataFrame:
  letter state  scores  age
0      a    CA    11.6   12
1      b    FL    12.8   28
2      c    CA    13.9   19
3      a    FL    14.2   14
4      b    CA    15.8   12
5      c    FL    16.2   28

列特征统计表:
  Column Name    Dtype              Unique Values  Unique Count
0      letter   object                      a,b,c             3
1       state   object                     CA, FL             2
2      scores  float64  11.6, 12.8, 13.9, 14.2,...             6
3         age    int64             12, 28, 19, 14             4

登录后复制

注：scores列的唯一值列表可能因显示宽度被截断，但实际内部存储是完整的。

封装为可复用函数

为了提高代码的可复用性和可维护性，特别是当需要对多个DataFrame执行相同操作时，将上述逻辑封装为一个函数是最佳实践。

def get_dataframe_summary(df: pd.DataFrame) -> pd.DataFrame:
    """
    为Pandas DataFrame生成一个列特征统计表，包括列名、数据类型、
    唯一的取值列表和唯一值的数量。

    参数:
    df (pd.DataFrame): 需要分析的DataFrame。

    返回:
    pd.DataFrame: 包含列特征统计信息的DataFrame。
    """
    column_names = []
    data_types = []
    unique_values_list = []
    unique_counts = []

    for col in df.columns:
        column_names.append(col)
        data_types.append(str(df[col].dtype))

        unique_vals = df[col].unique()
        unique_vals_str = [str(x) for x in unique_vals]
        unique_values_list.append(', '.join(unique_vals_str))

        unique_counts.append(len(unique_vals))

    summary_df = pd.DataFrame({
        'Column Name': column_names,
        'Dtype': data_types,
        'Unique Values': unique_values_list,
        'Unique Count': unique_counts
    })
    return summary_df

# 使用函数
summary_table = get_dataframe_summary(df)
print("\n使用函数生成的列特征统计表:")
print(summary_table)

登录后复制

注意事项与进阶考量

处理大量唯一值： 如果某一列包含大量唯一值（例如，一个ID列），将其所有唯一值都列出来可能会导致“Unique Values”列非常长，影响可读性。在这种情况下，可以考虑对显示进行截断，例如只显示前N个唯一值，并在末尾加上“...”表示省略，或者仅显示唯一值的数量。
```
# 示例：截断唯一值显示
# unique_values_list.append(', '.join(unique_vals_str[:5]) + ('...' if len(unique_vals_str) > 5 else ''))
```
登录后复制
性能考量： 对于具有数百万行甚至更多行的大型DataFrame，df[col].unique()操作可能会消耗较多的内存和计算资源。在极端情况下，如果性能成为瓶颈，可以考虑抽样或者使用更优化的库（如datatable）进行初步的数据探索。然而，对于大多数常见的数据集大小，Pandas的性能是足够的。
更全面的数据概览： 本教程侧重于数据类型和唯一值。在实际数据探索中，通常还需要结合其他Pandas函数，如：
- df.info()：提供非空值数量和内存使用情况。
- df.describe()：为数值型列提供统计摘要（均值、标准差、最小值、最大值等）。
- df.value_counts()：对于分类列，提供每个唯一值的频次分布。
- df.isnull().sum()：统计每列的缺失值数量。通过整合这些信息，可以构建一个更全面的数据质量报告。