Pandas处理多重响应数据：生成交叉表的实用教程-Python教程-PHP中文网

Pandas处理多重响应数据：生成交叉表的实用教程

本教程详细介绍了如何使用python pandas库处理包含多重响应（multiple response）类型的数据，并生成清晰的交叉表。通过利用`melt`函数进行数据重塑，结合`groupby`和`pivot_table`进行聚合与透视，我们能够有效地将宽格式的多重响应数据转换为适合分析的长格式，并进一步计算绝对计数或列百分比，从而深入理解不同响应类别之间的关联。

理解多重响应数据与交叉表需求

在市场调研或社会科学研究中，经常会遇到多重响应问题，即受访者可以从多个选项中选择一个或多个答案。例如，“您通过哪些渠道了解我们的产品？”可能有“线上广告”、“朋友推荐”、“门店宣传”等多个选项，受访者可能同时勾选多个。在数据集中，这类问题通常表示为多个二元变量（0/1或True/False）或多个分类变量，每个变量对应一个选项。

传统的交叉表（Crosstabulation）在处理这种“宽格式”的多重响应数据时会遇到挑战，因为每个响应选项都占据一列，直接进行交叉分析难以汇总。我们的目标是将这些分散的响应选项整合起来，然后与另一个变量（可以是单选或多选）进行交叉分析，生成一个清晰的表格，显示每个响应选项的频次或百分比。

例如，如果我们的原始数据如下：

Q2_1	Q2_2	Q2_3	Q3
Na loja	Email	Folheto	Sim
Na loja			Não
Na loja	Email		Sim
		Folheto	Sim

我们希望得到的交叉表输出是：

	Sim	Não
Email	2	0
Folheto	2	0
Na loja	2	1

这个表格清晰地展示了Q2的每个响应选项（Email, Folheto, Na loja）与Q3（Sim, Não）的关联计数。

核心策略：数据重塑与聚合

解决多重响应交叉表问题的关键在于将“宽格式”的数据转换为“长格式”，使得所有多重响应的选项都集中到一列中。Pandas库提供了强大的工具来实现这一目标：melt()函数用于数据重塑，groupby()用于聚合，pivot_table()用于最终的透视。

1. 数据准备

首先，我们创建一个示例数据集，模拟多重响应问题和另一个分类变量。

import io
import pandas as pd

# 示例数据
data = '''Q2_1,Q2_2,Q2_3,Q3
Na loja,Email,Folheto,Sim
Na loja,,,Não
Na loja,Email,,Sim
,,Folheto,Sim'''

df = pd.read_csv(io.StringIO(data), sep=',', engine='python')
print("原始数据框:")
print(df)

登录后复制

输出:

AppMall应用商店

AI应用商店，提供即时交付、按需付费的人工智能应用服务

查看详情

原始数据框:
      Q2_1   Q2_2     Q2_3   Q3
0  Na loja  Email  Folheto  Sim
1  Na loja    NaN      NaN  Não
2  Na loja  Email      NaN  Sim
3      NaN    NaN  Folheto  Sim

登录后复制

2. 使用 melt() 进行数据重塑

melt()函数是处理多重响应数据的核心。它将指定列从宽格式转换为长格式，将列名转换为一个变量列，将列值转换为一个值列。

在这个例子中，Q2_1, Q2_2, Q2_3是多重响应的组成部分。我们将它们“融化”到一列中，同时保留Q3作为标识符变量。

# 确定多重响应的列
multiple_response_cols = ['Q2_1', 'Q2_2', 'Q2_3']
# 确定用于交叉分析的另一列
other_variable = 'Q3'

# 使用melt函数将多重响应列转换为长格式
# id_vars: 不进行融化的列
# value_vars: 需要融化的列
# var_name: 融化后存储原列名的列名
# value_name: 融化后存储原列值的列名
df_melted = df.melt(id_vars=[other_variable], 
                     value_vars=multiple_response_cols,
                     var_name='response_type', # 可以选择保留或删除
                     value_name='response_value')

# 删除由于NaN值产生的行，因为它们不代表实际响应
df_melted = df_melted.dropna(subset=['response_value'])

# 我们可以选择删除'response_type'列，因为它在这里不影响最终结果，
# 除非我们想区分是Q2_1还是Q2_2的响应
df_melted = df_melted.drop('response_type', axis=1)

print("\n融化后的数据框 (df_melted):")
print(df_melted)

登录后复制

输出:

融化后的数据框 (df_melted):
    Q3 response_value
0  Sim        Na loja
1  Não        Na loja
2  Sim        Na loja
4  Sim          Email
5  Sim          Email
6  Sim        Folheto
7  Sim        Folheto

登录后复制

现在，所有的多重响应选项（'Na loja', 'Email', 'Folheto'）都集中在response_value列中，并且每一行都与对应的Q3值关联。

3. 聚合与透视生成交叉表

有了长格式数据df_melted，我们就可以使用groupby()进行计数，然后使用pivot_table()将其转换为我们想要的交叉表形式。

# 1. 使用groupby聚合计数
# 统计每个 response_value 和 Q3 组合的出现次数
df_grouped = df_melted.groupby(['response_value', other_variable]).size().reset_index(name='count')

print("\n聚合后的数据框 (df_grouped):")
print(df_grouped)

# 2. 使用pivot_table进行透视
# index: 作为行索引的列
# columns: 作为列索引的列
# values: 用于填充表格的值
# aggfunc: 聚合函数
# fill_value: 填充NaN的值
final_crosstab = pd.pivot_table(df_grouped, 
                                values='count', 
                                index=['response_value'], 
                                columns=[other_variable], 
                                aggfunc="sum", 
                                fill_value=0)

print("\n最终交叉表 (final_crosstab):")
print(final_crosstab)

登录后复制

输出:

聚合后的数据框 (df_grouped):
  response_value   Q3  count
0          Email  Sim      2
1        Folheto  Sim      2
2        Na loja  Não      1
3        Na loja  Sim      2

最终交叉表 (final_crosstab):
Q3           Não  Sim
response_value      
Email          0    2
Folheto        0    2
Na loja        1    2

登录后复制

至此，我们已经成功生成了所需的交叉表。

封装为可复用函数

为了提高代码的复用性，我们可以将上述步骤封装成一个函数。该函数应接受原始数据框、多重响应列列表、另一个交叉变量以及输出类型（绝对计数或列百分比）作为参数。

def create_multiple_response_crosstab(df: pd.DataFrame, 
                                       multiple_response_cols: list, 
                                       other_variable: str, 
                                       output_type: str = 'absolute') -> pd.DataFrame:
    """
    为多重响应问题生成交叉表。

    参数:
    df (pd.DataFrame): 原始数据框。
    multiple_response_cols (list): 包含多重响应选项的列名列表。
    other_variable (str): 用于交叉分析的另一个变量的列名。
    output_type (str): 输出类型，可以是 'absolute' (绝对计数) 或 'percentage' (列百分比)。

    返回:
    pd.DataFrame: 生成的交叉表。
    """

    # 1. 数据重塑 (melt)
    df_melted = df.melt(id_vars=[other_variable], 
                         value_vars=multiple_response_cols,
                         value_name='response_value')

    # 删除没有响应值的行
    df_melted = df_melted.dropna(subset=['response_value'])

    # 2. 聚合计数
    # 使用size()或groupby().agg(count=('response_value', 'count'))均可
    df_grouped = df_melted.groupby(['response_value', other_variable]).size().reset_index(name='count')

    # 3. 透视表
    crosstab_df = pd.pivot_table(df_grouped, 
                                 values='count', 
                                 index=['response_value'], 
                                 columns=[other_variable], 
                                 aggfunc="sum", 
                                 fill_value=0)

    # 4. 根据输出类型计算百分比
    if output_type == 'percentage':
        # 计算列总和，然后按列进行除法
        crosstab_df = crosstab_df.div(crosstab_df.sum(axis=0), axis=1) * 100
        # 格式化为百分比，保留两位小数
        crosstab_df = crosstab_df.round(2).astype(str) + '%'

    return crosstab_df

# 再次加载数据以确保示例的独立性
data = '''Q2_1,Q2_2,Q2_3,Q3
Na loja,Email,Folheto,Sim
Na loja,,,Não
Na loja,Email,,Sim
,,Folheto,Sim'''
df_example = pd.read_csv(io.StringIO(data), sep=',', engine='python')

# 使用函数生成绝对计数交叉表
crosstab_absolute = create_multiple_response_crosstab(
    df_example, 
    multiple_response_cols=['Q2_1', 'Q2_2', 'Q2_3'], 
    other_variable='Q3', 
    output_type='absolute'
)
print("\n使用函数生成的绝对计数交叉表:")
print(crosstab_absolute)

# 使用函数生成列百分比交叉表
crosstab_percentage = create_multiple_response_crosstab(
    df_example, 
    multiple_response_cols=['Q2_1', 'Q2_2', 'Q2_3'], 
    other_variable='Q3', 
    output_type='percentage'
)
print("\n使用函数生成的列百分比交叉表:")
print(crosstab_percentage)

登录后复制

输出:

使用函数生成的绝对计数交叉表:
Q3           Não  Sim
response_value      
Email          0    2
Folheto        0    2
Na loja        1    2

使用函数生成的列百分比交叉表:
Q3              Não         Sim
response_value                 
Email        0.0%  33.33%
Folheto      0.0%  33.33%
Na loja    100.0%  33.33%

登录后复制

在百分比计算中，crosstab_df.div(crosstab_df.sum(axis=0), axis=1) 实现了按列计算百分比：它将每个单元格的值除以其所在列的总和。axis=0 表示对列求和，axis=1 表示按列进行除法操作。

扩展应用：处理多个多重响应集

如果你的数据中包含多个多重响应集（例如Q2和Q4都是多重响应），你可以通过遍历一个字典来分别生成它们的交叉表。

# 假设有这样的多重响应字典
multiple_response_dict =  {
    'Q2_Set': ['Q2_1', 'Q2_2', 'Q2_3'],
    # 'Q4_Set': ['Q4_1', 'Q4_2', 'Q4_3', 'Q4_4', 'Q4_5', 'Q4_6','Q4_Outro'], 
}

# 假设另一个交叉变量是Q3
other_var = 'Q3'

for set_name, cols in multiple_response_dict.items():
    print(f"\n--- 交叉表 for {set_name} vs {other_var} (绝对计数) ---")
    current_crosstab_absolute = create_multiple_response_crosstab(
        df_example, 
        multiple_response_cols=cols, 
        other_variable=other_var, 
        output_type='absolute'
    )
    print(current_crosstab_absolute)

    print(f"\n--- 交叉表 for {set_name} vs {other_var} (列百分比) ---")
    current_crosstab_percentage = create_multiple_response_crosstab(
        df_example, 
        multiple_response_cols=cols, 
        other_variable=other_var, 
        output_type='percentage'
    )
    print(current_crosstab_percentage)

登录后复制

注意事项与总结

数据清洗: 在进行数据重塑之前，确保你的多重响应列中的非响应值（如空字符串、特定代码）被正确地处理为NaN。dropna()步骤依赖于此。
列名管理: melt()函数默认会创建variable和value列。在本教程中，我们为了清晰起见，将value_name指定为response_value，并删除了variable（即response_type）列。根据具体分析需求，你可能需要保留或重命名这些列。
百分比计算: 本教程提供了列百分比的计算方法。如果需要行百分比或总百分比，需要调整div()函数的axis参数和除数。
- 行百分比: crosstab_df.div(crosstab_df.sum(axis=1), axis=0) * 100
- 总百分比: crosstab_df.div(crosstab_df.sum().sum()) * 100
性能: 对于非常大的数据集，melt()操作可能会消耗较多内存。在处理海量数据时，可以考虑分块处理或使用更优化的数据结构。
灵活性: 这种方法不仅适用于将多重响应与单变量交叉，理论上也可以扩展到将两个多重响应集进行交叉分析，但需要更复杂的melt和pivot_table组合。