本教程探讨了在pandas dataframe中根据特定“键”列的值，有条件地映射或填充多个目标列的专业方法。针对传统`numpy.select`重复操作的低效性，文章详细介绍了两种高性能的向量化解决方案：一是利用`pd.get_dummies`和`df.mask`构建布尔掩码进行条件替换；二是采用`melt`、`merge`和`unstack`进行数据重塑与过滤。这些方法能显著提升处理效率，尤其适用于大数据集。
在数据处理中，我们经常遇到这样的场景：需要根据DataFrame中某一“键”列的值，有条件地处理其他多个列的数据。例如，如果key列的值是'key1'，则colA和colD应保留其原始值，而colB和colC则应填充为'NA'。如果key列的值是'key2'，则colB保留原值，其他列填充'NA'，以此类推。
传统的做法可能涉及对每个目标列单独使用numpy.select或循环遍历，但这在处理大量列或大规模数据集时效率低下且代码冗余。例如，以下代码展示了这种重复性操作：
import pandas as pd
import numpy as np
# 创建示例DataFrame
data = {
'key': ['key1', 'key2', 'key3', 'key1', 'key2'],
'colA': ['value1A', 'value2A', 'value3A', 'value4A', 'value5A'],
'colB': ['value1B', 'value2B', 'value3B', 'value4B', 'value5B'],
'colC': ['value1C', 'value2C', 'value3C', 'value4C', 'value5C'],
'colD': ['value1D', 'value2D', 'value3D', 'value4D', 'value5D']
}
df = pd.DataFrame(data)
# 应用条件和选择到各自的列
df['colA'] = np.select([df['key'] == 'key1'], [df['colA']], default='NA')
df['colD'] = np.select([df['key'] == 'key1'], [df['colD']], default='NA')
df['colB'] = np.select([df['key'] == 'key2'], [df['colB']], default='NA')
df['colC'] = np.select([df['key'] == 'key3'], [df['colC']], default='NA')
print(df)输出结果：
key colA colB colC colD 0 key1 value1A NA NA value1D 1 key2 NA value2B NA NA 2 key3 NA NA value3C NA 3 key1 value4A NA NA value4D 4 key2 NA value5B NA NA
这种方法对于少量列尚可接受，但当需要映射的列增多时，代码的维护性和可读性会迅速下降。因此，寻求更高效、更具向量化的解决方案是至关重要的。
这种方法的核心思想是构建一个与原始DataFrame形状相同的布尔掩码，该掩码指示每个单元格是否应该保留其原始值（True）或被替换为默认值（False）。然后，利用DataFrame.mask()方法根据这个掩码进行批量替换。
实现步骤：
代码示例：
import pandas as pd
import numpy as np
# 创建示例DataFrame
data = {
'key': ['key1', 'key2', 'key3', 'key1', 'key2'],
'colA': ['value1A', 'value2A', 'value3A', 'value4A', 'value5A'],
'colB': ['value1B', 'value2B', 'value3B', 'value4B', 'value5B'],
'colC': ['value1C', 'value2C', 'value3C', 'value4C', 'value5C'],
'colD': ['value1D', 'value2D', 'value3D', 'value4D', 'value5D']
}
df = pd.DataFrame(data)
# 1. 定义键与目标列的映射关系
d = {'key1': ['colA', 'colD'],
'key2': ['colB'],
'key3': ['colC'],
}
# 2. 生成列有效性布尔表
# 将字典转换为Series并展平
s = pd.Series(d).explode()
# 使用get_dummies创建独热编码，表示每个key对应的有效列
# groupby(level=0).max()确保每个key只有一行，且True表示该列对该key有效
mask_df = pd.get_dummies(s, dtype=bool).groupby(level=0).max()
# 3. 获取所有需要处理的目标列
cols_to_map = df.columns.difference(['key'])
# 4. 对齐掩码到DataFrame行，并应用到目标列
# mask_df.reindex(df['key']) 根据df['key']的顺序重新索引mask_df
# .to_numpy() 将结果转换为NumPy数组，以便与df[cols_to_map]进行元素级操作
row_level_mask = mask_df.reindex(df['key']).to_numpy()
# 使用mask方法，当row_level_mask为False时，将对应位置的值替换为'NA'
df[cols_to_map] = df[cols_to_map].mask(~row_level_mask, 'NA') # 注意这里使用 ~ 进行布尔反转
print(df)输出结果：
key colA colB colC colD 0 key1 value1A NA NA value1D 1 key2 NA value2B NA NA 2 key3 NA NA value3C NA 3 key1 value4A NA NA value4D 4 key2 NA value5B NA NA
中间结果解释：
mask_df (列有效性布尔表):
colA colB colC colD key1 True False False True key2 False True False False key3 False False True False
这表示key1关联colA和colD，key2关联colB，key3关联colC。
row_level_mask (mask_df.reindex(df['key']).to_numpy()):
[[ True False False True] # for df['key'] == 'key1' [False True False False] # for df['key'] == 'key2' [False False True False] # for df['key'] == 'key3' [ True False False True] # for df['key'] == 'key1' [False True False False]] # for df['key'] == 'key2'
这个NumPy数组是最终用于mask操作的布尔掩码，它与df[cols_to_map]的形状完全匹配，True表示对应位置的值应保留，False表示应被替换。
第二种方法通过数据重塑（将宽格式转换为长格式，再转换回宽格式）来解决问题。它将原始数据“融化”成一个长格式表，其中每一行代表一个具体的单元格值，然后通过合并操作筛选出有效的键-列组合，最后“堆叠”回宽格式。
实现步骤：
代码示例：
import pandas as pd
import numpy as np
# 创建示例DataFrame
data = {
'key': ['key1', 'key2', 'key3', 'key1', 'key2'],
'colA': ['value1A', 'value2A', 'value3A', 'value4A', 'value5A'],
'colB': ['value1B', 'value2B', 'value3B', 'value4B', 'value5B'],
'colC': ['value1C', 'value2C', 'value3C', 'value4C', 'value5C'],
'colD': ['value1D', 'value2D', 'value3D', 'value4D', 'value5D']
}
df = pd.DataFrame(data)
# 1. 定义键与目标列的映射关系
d = {'key1': ['colA', 'colD'],
'key2': ['colB'],
'key3': ['colC'],
}
# 2. 融化DataFrame，保留原始索引和key列
melted_df = df.reset_index().melt(['index', 'key'])
# 3. 从映射字典创建映射DataFrame
# pd.Series(d).explode() 展平映射字典
# .rename_axis('key').reset_index(name='variable') 调整索引和列名
mapping_df = pd.Series(d).explode().rename_axis('key').reset_index(name='variable')
# 4. 合并融化后的DataFrame与映射DataFrame，筛选有效组合
merged_df = melted_df.merge(mapping_df)
# 5. 堆叠数据回宽格式，填充未匹配值
final_df = (merged_df
.set_index(['index', 'key', 'variable'])['value'] # 设置多级索引
.unstack('variable', fill_value='NA') # 以variable列进行堆叠，未匹配的填充'NA'
.reset_index('key') # 将key列从索引中移回普通列
.rename_axis(index=None, columns=None) # 清理索引和列名
)
# 将原始df的'key'列重新赋值，并确保顺序一致
df_result = df[['key']].copy() # 复制原始key列
df_result = df_result.set_index(final_df.index) # 对齐索引
df_result[final_df.columns.difference(['key'])] = final_df[final_df.columns.difference(['key'])]
df_result = df_result.reindex(columns=df.columns) # 确保列顺序与原始df一致
print(df_result)输出结果：
key colA colB colC colD 0 key1 value1A NA NA value1D 1 key2 NA value2B NA NA 2 key3 NA NA value3C NA 3 key1 value4A NA NA value4D 4 key2 NA value5B NA NA
注意：在实际应用中，melt、merge、unstack 的链式操作可以更紧凑地写在一起，如问题答案所示。上述代码为了教学目的，拆分了中间步骤。
本教程介绍了两种高效的向量化方法，用于在Pandas DataFrame中根据“键”列的值有条件地映射或填充多个目标列。
pd.get_dummies 和 df.mask 方法：
melt, merge, unstack 数据重塑方法：
两种方法都显著优于重复使用numpy.select，尤其是在处理大型数据集时，其向量化特性能够带来显著的性能提升。在选择具体方法时，应根据实际业务需求和代码的清晰度偏好进行权衡。对于简单的条件替换，mask方法可能更直观；而对于复杂的数据重构任务，melt/merge/unstack组合则提供了更强大的工具。
以上就是如何高效地基于键列值映射DataFrame中的多个列的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
419
收藏
