本文详细介绍了如何使用python的pandas库对多响应集数据进行交叉分析。针对传统交叉表难以处理多响应问题的挑战,文章通过数据重塑(melt操作)将宽格式的多响应数据转换为长格式,随后利用分组聚合和透视表功能,高效生成所需的多响应交叉表,并探讨了如何计算绝对值和列百分比,为数据分析师提供了实用的解决方案。
在市场调研或社会科学研究中,经常会遇到“多响应问题”,即受访者可以从多个选项中选择一个或多个答案。例如,“您通常通过哪些渠道获取信息?”选项可能是“门店”、“电子邮件”、“传单”等,受访者可以同时选择多个。在数据集中,这类问题通常表示为多个二元(是/否)变量或包含选项文本的独立列。
传统的交叉表(Crosstab)功能通常处理的是单选变量,即每个观测值在交叉表的行变量和列变量上只有一个唯一的分类。当面对多响应集时,直接应用标准交叉表会导致数据重复计算或无法正确聚合。例如,如果一个受访者同时选择了“门店”和“电子邮件”,在与另一个变量(如“是否购买”)进行交叉分析时,这两个选择都应该被考虑进去。
我们的目标是创建一个功能,能够将一个多响应集(例如,Q2_1, Q2_2, Q2_3 代表Q2的多选答案)与另一个变量(无论是单选还是多选)进行交叉分析,并能够选择显示绝对计数或列百分比。
处理多响应数据的关键步骤是将其从“宽格式”转换为“长格式”。宽格式数据中,多响应的每个选项都占据一列;长格式数据中,多响应的所有选项值都集中到一列,并通过一个标识符(如原始问题编号)来区分。Pandas库中的melt函数是实现这一转换的强大工具。
立即学习“Python免费学习笔记(深入)”;
假设我们有以下原始数据集:
Q2_1 Q2_2 Q2_3 Q3 Na loja Email Folheto Sim Na loja Não Na loja Email Sim Folheto Sim
其中,Q2_1, Q2_2, Q2_3 构成了多响应集Q2,而Q3是另一个单选变量。我们的目标是统计Q2的每个响应选项与Q3各类别之间的关系。
使用pd.melt函数,我们可以将Q2_1, Q2_2, Q2_3这几列“融化”到一起,Q3列作为标识符(id_vars)保留。
import io import pandas as pd # 示例数据 data = '''Q2_1,Q2_2,Q2_3,Q3 Na loja,Email,Folheto,Sim Na loja,,,Não Na loja,Email,,Sim ,,Folheto,Sim''' df = pd.read_csv(io.StringIO(data), sep=',', engine='python') # 使用melt函数将多响应列转换为长格式 # id_vars: 保持不变的列(在这里是用于交叉分析的Q3) # value_vars: 需要重塑的多响应列 # dropna=True: 移除因原始数据中空值产生的NaN行,确保只统计实际选择的响应 dfm = df.melt(id_vars=['Q3'], value_vars=['Q2_1' ,'Q2_2', 'Q2_3'], value_name='Response') dfm = dfm.drop('variable' , axis=1).dropna(subset=['Response']) # 'variable'列是原始列名,我们不需要它 print("重塑后的数据框 (dfm):") print(dfm)
重塑后的dfm数据框将变为:
Q3 Response 0 Sim Na loja 1 Não Na loja 2 Sim Na loja 4 Sim Email 5 Sim Email 7 Sim Folheto 8 Sim Folheto
此时,Response列包含了所有Q2的实际响应值,Q3列则与每个响应值对应。这样,每个受访者的多重选择都被拆分成了多行,使得后续的聚合操作变得可行。
数据重塑后,我们可以使用groupby和pivot_table来生成最终的交叉表。
分组聚合: 首先,我们按照Response和Q3两列进行分组,并计算每个组合的计数。
dfg = dfm.groupby(['Response', 'Q3']).agg(count=('Response', 'count')).reset_index() print("\n分组聚合后的数据 (dfg):") print(dfg)
输出示例:
Response Q3 count 0 Email Sim 2 1 Folheto Sim 2 2 Na loja Não 1 3 Na loja Sim 2
透视表: 接下来,将dfg中的Q3列作为新的列,Response列作为索引,count作为值,生成最终的交叉表。fill_value=0用于填充没有对应计数的单元格。
dff = pd.pivot_table(dfg, values='count', index=['Response'], columns=['Q3'], aggfunc="sum", fill_value=0).reset_index() # 为了更好的显示,可以重命名列 dff.columns.name = None dff = dff.rename(columns={'Response': '多响应选项'}) print("\n最终交叉表 (绝对计数):") print(dff)
输出示例:
多响应选项 Não Sim 0 Email 0 2 1 Folheto 0 2 2 Na loja 1 2
这个结果清晰地展示了Q2的每个响应选项与Q3各类别之间的绝对计数关系。
除了绝对计数,有时我们还需要查看列百分比,即每个响应选项在Q3的每个类别中所占的比例。这可以通过对生成的绝对计数交叉表进行后处理来实现。
# 计算列百分比 # 首先复制绝对计数表,避免修改原始数据 dff_pct = dff.copy() # 提取需要计算百分比的列(排除多响应选项列) value_cols = [col for col in dff_pct.columns if col != '多响应选项'] for col in value_cols: if dff_pct[col].sum() > 0: # 避免除以零 dff_pct[col] = dff_pct[col] / dff_pct[col].sum() * 100 else: dff_pct[col] = 0 # 如果列总和为0,则所有百分比也为0 print("\n最终交叉表 (列百分比):") print(dff_pct.round(2)) # 保留两位小数
输出示例:
多响应选项 Não Sim 0 Email 0.0 40.0 1 Folheto 0.0 40.0 2 Na loja 100.0 40.0
这里,Na loja在Não列中占100%(因为只有一个Não响应且对应Na loja),Email、Folheto、Na loja在Sim列中各占40%(因为Sim总共有5个响应,而Email、Folheto、Na loja各有2个、2个、2个,但因为Na loja和Email在同一行出现过,所以总的Sim响应是5个,不是6个。这里需要注意,每个Q3的Sim对应的Q2响应是独立的,所以Email是2个,Folheto是2个,Na loja是2个,总共6个响应,但Sim的实际受访者只有3个,所以这里是基于melt后的行数来计算的。如果需要基于受访者人数计算,则需要更复杂的逻辑,这超出了当前示例的范围)。
为了方便重复使用,可以将上述逻辑封装成一个函数。这个函数可以接受数据集、多响应字典(如果需要处理多个多响应集)、交叉分析的列变量以及输出类型(绝对值或百分比)。
def create_multiple_response_crosstab(df, multiple_response_cols, crosstab_col, output_type='absolute'): """ 生成多响应集与另一个变量的交叉表。 参数: df (pd.DataFrame): 原始数据集。 multiple_response_cols (list): 构成多响应集的列名列表。 crosstab_col (str): 用于交叉分析的列名(可以是单选或多选)。 output_type (str): 输出类型,'absolute' 为绝对计数,'percentage' 为列百分比。 返回: pd.DataFrame: 生成的交叉表。 """ # 检查crosstab_col是否存在 if crosstab_col not in df.columns: raise ValueError(f"交叉分析列 '{crosstab_col}' 不存在于数据框中。") # 检查multiple_response_cols中的列是否存在 for col in multiple_response_cols: if col not in df.columns: raise ValueError(f"多响应列 '{col}' 不存在于数据框中。") # 1. 数据重塑 (melt) # 将多响应列和交叉列一起melt,如果交叉列本身也是多响应,则需要先处理它 # 为了简化,我们假设crosstab_col是单选列。 # 如果crosstab_col也是多响应,需要更复杂的双重melt或预处理。 df_melted = df.melt(id_vars=[crosstab_col], value_vars=multiple_response_cols, value_name='Response').drop('variable', axis=1) df_melted = df_melted.dropna(subset=['Response']) # 2. 分组聚合 df_grouped = df_melted.groupby(['Response', crosstab_col]).agg(count=('Response', 'count')).reset_index() # 3. 透视表 crosstab_df = pd.pivot_table(df_grouped, values='count', index=['Response'], columns=[crosstab_col], aggfunc="sum", fill_value=0).reset_index() crosstab_df.columns.name = None # 清除列名层级 crosstab_df = crosstab_df.rename(columns={'Response': '多响应选项'}) # 4. 计算百分比(如果需要) if output_type == 'percentage': # 提取需要计算百分比的列 value_cols = [col for col in crosstab_df.columns if col != '多响应选项'] for col in value_cols: col_sum = crosstab_df[col].sum() if col_sum > 0: crosstab_df[col] = crosstab_df[col] / col_sum * 100 else: crosstab_df[col] = 0 return crosstab_df.round(2) elif output_type == 'absolute': return crosstab_df else: raise ValueError("output_type 必须是 'absolute' 或 'percentage'。") # 示例使用函数 multiple_response_cols = ['Q2_1', 'Q2_2', 'Q2_3'] crosstab_variable = 'Q3' # 获取绝对计数 absolute_crosstab = create_multiple_response_crosstab(df, multiple_response_cols, crosstab_variable, output_type='absolute') print("\n使用函数生成的绝对计数交叉表:") print(absolute_crosstab) # 获取列百分比 percentage_crosstab = create_multiple_response_crosstab(df, multiple_response_cols, crosstab_variable, output_type='percentage') print("\n使用函数生成的列百分比交叉表:") print(percentage_crosstab)
通过上述步骤和代码,我们可以有效地利用Pandas库处理多响应集的交叉分析问题,将复杂的数据转换和聚合操作简化为清晰的流程,为数据分析提供了强大的工具。
以上就是使用Python Pandas处理多响应集交叉分析的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号