在数据分析实践中，我们经常会遇到需要从一个数据源中根据多个条件提取信息，并将其关联到另一个数据源的场景。当其中一个数据源的关键匹配列包含列表（例如，一个订单可能关联多个商品ID，或者一个区域可能包含多个店铺ID）时，传统的直接合并操作会变得复杂。本教程将聚焦于一个具体场景：给定两个DataFrame，df1包含店铺的单月价值数据，df2包含店铺ID列表和月份。我们的目标是根据df2中的月份和店铺ID列表，从df1中找到所有匹配店铺的价值，并取其中的最小值作为df2的新列。
为了演示这一过程，我们首先创建两个Pandas DataFrame作为示例数据：
import pandas as pd
# 第一个DataFrame: df1 包含单个店铺的价值数据
data1 = {
'store': [1, 1, 2, 2],
'value': [24, 28, 29, 0],
'month': [1, 2, 1, 2]
}
df1 = pd.DataFrame(data1)
# 第二个DataFrame: df2 包含店铺ID列表和月份
data2 = {
'store': [[1, 2, 3], [2]],
'month': [1, 2]
}
df2 = pd.DataFrame(data2)
print("df1:")
print(df1)
print("\ndf2:")
print(df2)输出的DataFrame如下：
df1:
store value month
0 1 24 1
1 1 28 2
2 2 29 1
3 2 0 2
df2:
store month
0 [1, 2, 3] 1
1 [2] 2我们的目标是为df2的每一行添加一个value列，其值为df1中对应月份和店铺ID列表里所有店铺价值的最小值。例如，对于df2的第一行 ([1, 2, 3], 1)：
解决这个问题的关键在于有效地处理df2中的列表型列，并将其与df1中的单个店铺数据进行匹配。我们将采用explode、merge和groupby的组合策略。
在进行合并操作之前，为了确保数据的一致性，我们可以对df1进行预处理。如果df1中存在相同store和month组合下的多条记录，并且我们只关心其中的最小值，那么可以先进行聚合。在我们的示例中，df1的(store, month)组合是唯一的，但这是一个良好的实践。
# 确保df1中每个(store, month)组合只有一个最小值
# 如果df1本身有重复的(store, month)对，此步骤会取其最小值
df1_processed = df1.groupby(['store', 'month'], as_index=False)['value'].min()
print("\ndf1_processed:")
print(df1_processed)在这个特定示例中，df1_processed与df1内容相同，因为没有重复的(store, month)组合。
df2中的store列是一个列表，这使得直接与df1进行合并变得困难。pd.DataFrame.explode()函数能够将列表或类列表的条目转换为单独的行，从而有效地“展开”DataFrame。在展开后，我们需要保留原始行的索引，以便后续聚合。
# 展开df2的'store'列，并将原始索引重置为一列
df2_exploded = df2.explode('store').reset_index()
print("\ndf2_exploded:")
print(df2_exploded)df2_exploded的输出：
df2_exploded: index store month 0 0 1 1 1 0 2 1 2 0 3 1 3 1 2 2
现在，df2_exploded中的store列已经转换为单个店铺ID，并且index列记录了它来源于df2的哪一行。
接下来，我们将展开后的df2_exploded与预处理过的df1_processed进行合并。合并的键是store和month。我们使用how='left'确保df2_exploded中的所有行都被保留，即使在df1_processed中没有匹配项（例如，店铺3在月份1）。
# 将展开的df2与预处理的df1合并
merged_df = df2_exploded.merge(df1_processed, on=['store', 'month'], how='left')
print("\nmerged_df:")
print(merged_df)merged_df的输出：
merged_df: index store month value 0 0 1 1 24.0 1 0 2 1 29.0 2 0 3 1 NaN 3 1 2 2 0.0
可以看到，对于原始df2的第一行（index为0），现在有三行数据，分别对应店铺1、2、3在月份1的价值。店铺3由于在df1中不存在，其value为NaN。
现在，我们需要回到原始df2的行级别，并为每行计算其匹配店铺价值的最小值。这可以通过再次使用groupby原始index列并对value列取最小值来实现。
# 根据原始索引聚合，并取每个原始行的最小值
final_values = merged_df.groupby('index')['value'].min()
print("\nfinal_values:")
print(final_values)final_values的输出：
final_values: index 0 24.0 1 0.0 Name: value, dtype: float64
这里，index为0的行对应df2的第一行，其匹配的value有24.0、29.0和NaN，最小值为24.0。index为1的行对应df2的第二行，其匹配的value为0.0，最小值为0.0。
最后一步是将计算出的最小值添加回原始的df2 DataFrame中。可以使用pd.DataFrame.assign()方法实现。
# 将计算出的最小值添加为df2的新列
df2_final = df2.assign(value=final_values)
print("\ndf2_final:")
print(df2_final)df2_final的最终输出：
df2_final:
store month value
0 [1, 2, 3] 1 24.0
1 [2] 2 0.0这正是我们期望的结果。
将上述所有步骤整合到一起，形成一个完整的解决方案：
import pandas as pd
# 示例数据
data1 = {'store': [1, 1, 2, 2], 'value': [24, 28, 29, 0], 'month': [1, 2, 1, 2]}
df1 = pd.DataFrame(data1)
data2 = {'store': [[1, 2, 3], [2]], 'month': [1, 2]}
df2 = pd.DataFrame(data2)
# 1. 预处理df1，确保每个(store, month)组合只有一个最小值
df1_processed = df1.groupby(['store', 'month'], as_index=False)['value'].min()
# 2. 展开df2的'store'列，并保留原始索引
df2_exploded = df2.explode('store').reset_index()
# 3. 将展开的df2与预处理的df1合并
merged_df = df2_exploded.merge(df1_processed, on=['store', 'month'], how='left')
# 4. 根据原始索引聚合，并取每个原始行的最小值
# 注意：NaN值在min()计算中会被忽略，这符合我们的需求
final_values = merged_df.groupby('index')['value'].min()
# 5. 将计算出的最小值添加为df2的新列
df2_final = df2.assign(value=final_values)
print("最终结果df2_final:")
print(df2_final)最终的df2_final DataFrame准确地反映了我们的需求：
通过本教程，您应该已经掌握了如何使用Pandas高效地处理包含列表型列的复杂数据匹配和聚合任务。
以上就是使用Pandas处理列表型列：跨DataFrame提取与聚合最小值的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告
收藏
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
683
