Pandas DataFrame：基于键匹配与计数实现数据值智能拆分与合并-Python教程-PHP中文网

Pandas DataFrame：基于键匹配与计数实现数据值智能拆分与合并

DDD

发布： 2025-10-11 08:32:12

原创

585人浏览过

Pandas DataFrame：基于键匹配与计数实现数据值智能拆分与合并

本教程详细阐述了如何使用Pandas在两个DataFrame之间进行数据操作，以实现基于键匹配和出现频率的数据值拆分与合并。核心方法是首先计算主DataFrame中每个键的出现次数，然后将另一个DataFrame中对应键的值按这些频率进行标准化（除法），最后通过左连接将标准化后的值合并回主DataFrame，从而有效地将聚合值按比例分配到每个匹配的记录上。

问题场景描述

在数据分析和处理中，我们经常会遇到这样的需求：有两个dataframe，一个包含重复的键值（例如，订单明细表中的产品id），另一个包含每个唯一键的汇总数据（例如，产品库存或总销售额）。现在，我们希望将汇总dataframe中的值根据键在明细dataframe中出现的次数进行平均分配或拆分，并将这些拆分后的值合并回明细dataframe中。

考虑以下两个示例DataFrame：

DataFrame 1 (df1): 包含重复的id，代表需要分配的记录。

id
A
B
A
C
A
A
C

DataFrame 2 (df2): 包含唯一的id以及与这些id相关的聚合数据。

id	Col1	Col2	Col3
A	400	100	20
B	200		800
C	600	800

我们期望的输出结果是：对于df1中的每一行，如果其id在df2中有对应值，则df2中Col1, Col2, Col3的值应根据该id在df1中出现的总次数进行平均分配。例如，id 'A'在df1中出现了4次，在df2中Col1为400，那么每个id 'A'对应的Col1值应为 400 / 4 = 100。

期望输出：

id	Col1	Col2	Col3
A	100	25	5
B	200		800
A	100	25	5
C	300	400
A	100	25	5
A	100	25	5
C	300	400

核心思路与步骤

解决此问题的关键在于利用Pandas的强大功能，包括value_counts()、div()和merge()。具体步骤如下：

计算键的出现频率： 统计df1中每个id出现的次数。
标准化DataFrame 2： 将df2中的数据列根据步骤1中计算出的频率进行除法运算。
合并数据帧： 将标准化后的df2与原始df1进行左连接，以获取最终结果。

1. 准备数据

首先，我们创建示例DataFrame：

腾讯智影-AI数字人

基于AI数字人能力，实现7*24小时AI数字人直播带货，低成本实现直播业务快速增增，全天智能在线直播

查看详情

import pandas as pd
import numpy as np

# DataFrame 1
data1 = {'id': ['A', 'B', 'A', 'C', 'A', 'A', 'C']}
df1 = pd.DataFrame(data1)

# DataFrame 2
data2 = {'id': ['A', 'B', 'C'],
         'Col1': [400, 200, 600],
         'Col2': [100, np.nan, 800], # 使用np.nan表示空值
         'Col3': [20, 800, np.nan]}
df2 = pd.DataFrame(data2)

print("原始 df1:")
print(df1)
print("\n原始 df2:")
print(df2)

登录后复制

2. 计算键的出现频率

使用value_counts()方法可以轻松获取df1中id列的每个唯一值的出现次数。

id_counts = df1['id'].value_counts()
print("\nid 在 df1 中的出现频率:")
print(id_counts)
# 输出示例:
# A    4
# C    2
# B    1
# Name: id, dtype: int64

登录后复制

3. 标准化DataFrame 2

这是实现值拆分的关键一步。我们将df2的id列设置为索引，然后使用div()方法将其数据列除以id_counts。axis=0确保按行（即按id）进行除法。

# 将df2的'id'列设为索引，以便与id_counts对齐
df2_indexed = df2.set_index('id')

# 将df2的数据列除以对应的id出现频率
# Pandas会自动根据索引（id）进行对齐
df2_standardized = df2_indexed.div(id_counts, axis=0)
print("\n标准化后的 df2:")
print(df2_standardized)
# 输出示例:
#     Col1   Col2   Col3
# id
# A  100.0   25.0    5.0
# B  200.0    NaN  800.0
# C  300.0  400.0    NaN

登录后复制

4. 合并数据帧

最后一步是将标准化后的df2_standardized与原始df1进行合并。为了保留df1的原始行顺序和索引信息，我们通常会先重置df1的索引，进行合并后再恢复。

# 为了在合并后保留df1的原始索引顺序，先reset_index()
# 然后进行左连接，将标准化后的数据合并到df1
# 最后通过set_index().reindex()恢复原始索引和顺序
result_df = (df1.reset_index() # 保存原始索引
             .merge(df2_standardized, on='id', how='left')
             .set_index('index') # 恢复原始索引
             .reindex(df1.index) # 确保顺序与df1完全一致
            )

print("\n最终结果 DataFrame:")
print(result_df)

登录后复制

完整代码示例

将上述步骤整合到一起，得到简洁高效的解决方案：

import pandas as pd
import numpy as np

# 1. 准备数据
data1 = {'id': ['A', 'B', 'A', 'C', 'A', 'A', 'C']}
df1 = pd.DataFrame(data1)

data2 = {'id': ['A', 'B', 'C'],
         'Col1': [400, 200, 600],
         'Col2': [100, np.nan, 800],
         'Col3': [20, 800, np.nan]}
df2 = pd.DataFrame(data2)

# 2. 计算id在df1中的出现频率，并标准化df2
#    df2.set_index('id') 将id列设为索引
#    .div(df1['id'].value_counts(), axis=0) 将df2的数据列按id出现频率进行除法
#    axis=0 表示按行（即按索引id）进行对齐和除法
df2_standardized = df2.set_index('id').div(df1['id'].value_counts(), axis=0)

# 3. 合并数据帧
#    df1.reset_index() 暂时保存df1的原始索引，以便后续恢复
#    .merge(..., on='id', how='left') 执行左连接，基于'id'合并标准化后的数据
#    .set_index('index').reindex(df1.index) 恢复原始索引并确保行顺序与df1一致
output_df = (df1.reset_index()
             .merge(df2_standardized, on='id', how='left')
             .set_index('index').reindex(df1.index)
            )

print("最终输出:")
print(output_df)

登录后复制

输出结果:

最终输出:
  id   Col1   Col2   Col3
0  A  100.0   25.0    5.0
1  B  200.0    NaN  800.0
2  A  100.0   25.0    5.0
3  C  300.0  400.0    NaN
4  A  100.0   25.0    5.0
5  A  100.0   25.0    5.0
6  C  300.0  400.0    NaN

登录后复制

注意事项与最佳实践

how='left' 合并： 使用左连接（how='left'）可以确保df1中的所有行都被保留，即使某些id在df2中没有对应项。对于df2中不存在的id，合并后的相应数据列将填充NaN。
处理 NaN 值： 如果df2中存在空值（如Col2中id 'B'对应的空值），经过除法运算后仍然会是NaN。这通常是符合预期的行为。如果需要填充这些NaN，可以在合并后使用fillna()方法。
索引管理： reset_index()、set_index()和reindex()的组合使用是为了确保合并后的DataFrame不仅包含正确的数据，而且其行索引和顺序与原始df1完全一致，这对于后续的数据处理或分析非常重要。
性能考量： 对于非常大的DataFrame，Pandas的这些操作通常是高度优化的。value_counts()和div()是基于C语言实现的，效率很高。merge()操作也经过了优化。然而，如果df1或df2的规模达到数百万甚至上亿行，可能需要考虑内存使用和更高级的优化策略。
通用性： 这种方法不仅适用于单个数据列，而是可以自动应用于df2中所有非id的数据列，提供了很高的通用性。

总结

本教程展示了一种高效且灵活的Pandas解决方案，用于根据键的出现频率将一个DataFrame中的值智能地拆分并合并到另一个DataFrame中。通过结合value_counts()统计频率、set_index()和div()进行标准化，以及merge()进行数据整合，我们能够轻松处理复杂的数据分配需求。掌握这种模式对于进行高级数据预处理和特征工程至关重要。

以上就是Pandas DataFrame：基于键匹配与计数实现数据值智能拆分与合并的详细内容，更多请关注php中文网其它相关文章！