如何使用 Pandas 生成 DataFrame 列的数据类型与唯一值汇总表-Python教程-PHP中文网

如何使用 Pandas 生成 DataFrame 列的数据类型与唯一值汇总表

霞舞

发布： 2025-07-19 22:02:20

原创

703人浏览过

如何使用 Pandas 生成 DataFrame 列的数据类型与唯一值汇总表

本教程将详细介绍如何利用 Python 的 Pandas 库，为 DataFrame 中的所有列生成一份结构化的汇总表。该表将清晰展示每列的名称、数据类型以及其包含的唯一值（或其数量），这对于数据探索、清洗和理解数据集至关重要。

数据探索的重要性

在任何数据分析或机器学习项目中，数据探索是至关重要且不可或缺的第一步。通过对数据集进行初步的检查和理解，我们可以：

识别数据类型： 确保每列的数据类型符合预期，例如数字、字符串或日期，这对于后续的数据操作和模型训练至关重要。
发现唯一值： 了解分类变量有多少种不同的类别，或者数值变量的分布范围，这有助于发现潜在的数据录入错误、拼写不一致或异常值。
评估数据质量： 通过查看唯一值的数量，可以快速判断列的变异程度，例如，一列如果只有少数几个唯一值，它可能是分类特征；如果唯一值数量接近行数，则可能是唯一标识符。

Pandas DataFrame 提供了强大的功能来处理和分析数据，但有时我们需要一个快速、集中的方式来概览所有列的关键属性。本文将展示如何构建这样一个汇总表。

核心方法：遍历 DataFrame 列

要生成所需的汇总表，我们的核心思路是遍历 DataFrame 中的每一列，并提取其数据类型和唯一值信息。具体步骤如下：

获取列名： 遍历 DataFrame 的所有列名。
获取数据类型： 对于每一列，使用 .dtype 属性获取其数据类型。
获取唯一值： 对于每一列，使用 .unique() 方法获取其所有唯一值。
统计唯一值数量： 获取唯一值列表的长度。
构建结果： 将收集到的信息存储到列表中，最终组装成一个新的 Pandas DataFrame。

代码实现与解析

首先，我们创建一个示例 DataFrame 来演示这个过程：

import pandas as pd

# 示例 DataFrame
df = pd.DataFrame({
    'letter': ['a','b','c','a','b','c'],
    'state': ['CA','FL','CA','FL','CA','FL'],
    'scores': [11.6,12.8,13.9,14.2,15.8,16.2],
    'age': [12,28,19,14,12,28]
})

print("原始 DataFrame:")
print(df)

登录后复制

接下来，我们实现生成汇总表的逻辑：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

查看详情

# 用于存储每列信息的列表
column_names = []
data_types = []
unique_values_str = []
unique_counts = []

# 遍历 DataFrame 的每一列
for col in df.columns:
    # 获取列名
    column_names.append(col)

    # 获取数据类型
    data_types.append(df[col].dtype)

    # 获取唯一值，并将其转换为字符串列表，然后用逗号连接
    # 注意：对于数值类型，unique() 方法返回的 dtype 可能为 float64 或 int64
    temp_unique_vals = [str(x) for x in df[col].unique()]
    unique_values_str.append(','.join(temp_unique_vals))

    # 获取唯一值的数量
    unique_counts.append(len(temp_unique_vals))

# 将收集到的信息构建成新的 DataFrame
summary_df = pd.DataFrame({
    'Column_Name': column_names,
    'Dtype': data_types,
    'Unique_Values': unique_values_str,
    'Unique_Count': unique_counts
})

print("\n生成的汇总表:")
print(summary_df)

登录后复制

代码解析：

column_names, data_types, unique_values_str, unique_counts：这些列表用于在循环中收集每列的相应信息。
for col in df.columns:：这是一个标准的 Pandas 循环模式，用于迭代 DataFrame 的所有列名。
df[col].dtype：直接获取当前列的数据类型。Pandas 会返回如 object (字符串)、float64 (浮点数)、int64 (整数) 等精确的数据类型。
df[col].unique()：返回一个包含当前列所有唯一值的 NumPy 数组。
[str(x) for x in df[col].unique()]：这一步非常关键。它将 unique() 方法返回的所有唯一值转换为字符串。这是因为唯一值可能包含不同类型（数字、字符串等），统一转换为字符串便于后续用逗号连接。
','.join(temp_unique_vals)：将转换后的唯一值字符串列表用逗号连接成一个单一的字符串，以便在汇总表中清晰展示。
len(temp_unique_vals)：计算唯一值的数量，这对于快速判断列的基数（cardinality）非常有用。
pd.DataFrame(...)：最后，使用收集到的列表作为列数据，创建并返回一个新的 DataFrame，即我们的汇总表。

封装为可复用函数

为了提高代码的复用性，我们可以将上述逻辑封装到一个函数中：

def generate_dataframe_summary(df: pd.DataFrame) -> pd.DataFrame:
    """
    为 Pandas DataFrame 生成一个汇总表，包含列名、数据类型、唯一值及其数量。

    Args:
        df (pd.DataFrame): 需要生成汇总表的 DataFrame。

    Returns:
        pd.DataFrame: 包含每列汇总信息的 DataFrame。
    """
    column_names = []
    data_types = []
    unique_values_str = []
    unique_counts = []

    for col in df.columns:
        column_names.append(col)
        data_types.append(df[col].dtype)

        temp_unique_vals = [str(x) for x in df[col].unique()]
        unique_values_str.append(','.join(temp_unique_vals))
        unique_counts.append(len(temp_unique_vals))

    summary_df = pd.DataFrame({
        'Column_Name': column_names,
        'Dtype': data_types,
        'Unique_Values': unique_values_str,
        'Unique_Count': unique_counts
    })
    return summary_df

# 使用函数
summary_table = generate_dataframe_summary(df)
print("\n使用函数生成的汇总表:")
print(summary_table)

登录后复制

注意事项与优化

处理大量唯一值： 如果某一列的唯一值数量非常大（例如，ID 列或连续数值列），将所有唯一值拼接成一个字符串可能会导致该单元格内容过长，影响可读性。在这种情况下，可以考虑：
- 仅显示 Unique_Count，而不显示 Unique_Values 字符串。
- 对 Unique_Values 字符串进行截断，例如只显示前 N 个唯一值，并在末尾添加 ...。
- 针对数值型列，可以显示其统计摘要（均值、中位数、标准差等），而不是所有唯一值。
性能考量： 对于拥有成千上万列的超大型 DataFrame，循环遍历每列并计算唯一值可能会消耗较多时间。然而，对于大多数常见的数据集（例如几十到几百列），这种方法通常足够高效。Pandas 的 .unique() 方法本身是高度优化的。
数据类型显示： Pandas 内部使用 int64、float64、object 等表示数据类型。在某些展示场景中，你可能希望将其显示为更通用的“整数”、“浮点数”或“字符串”。这可以通过额外的映射逻辑来实现。