高效处理Pandas DataFrame中基于键匹配的数值按比例分配

在数据处理中，我们经常会遇到需要根据一个dataframe中键的重复出现次数，来按比例分配另一个dataframe中与这些键关联的数值的情况。例如，当一个总价值需要被分摊到多个相同项目的实例上时，这种需求尤为常见。本教程将详细阐述如何使用pandas库高效地解决这类问题。

场景描述

假设我们有两个Pandas DataFrame：

1. DataFrame 1 (df1)：包含一个或多个键列（例如id），其中键值可能重复。这个DataFrame代表了我们需要将数据分配到的目标结构。
2. DataFrame 2 (df2)：包含唯一的键列（与df1中的键列匹配）以及一系列需要被分配的数值列。这些数值代表了每个唯一键的总量。

我们的目标是创建一个新的DataFrame，其结构与df1相似，但其中的数值列是从df2中获取并根据df1中对应键的出现次数进行均等分配后的结果。

解决方案核心思路

解决此问题的关键在于以下几个步骤：

1. 统计键的出现频率：首先，我们需要知道df1中每个id键值出现了多少次。
2. 标准化/分配df2中的数值：利用上一步得到的频率，将df2中每个id对应的数值除以其在df1中的出现次数。这样，每个df2中的总值就被“分割”成了其在df1中每个实例应得的份额。
3. 合并数据：将经过标准化处理的df2与原始的df1进行合并，以生成最终的结果DataFrame。

逐步实现

我们将使用Pandas的merge()、value_counts()和div()等函数来完成上述步骤。

示例数据准备

为了更好地说明，我们首先创建与问题描述中一致的示例DataFrame：

import pandas as pd
import numpy as np

# DataFrame 1: 包含重复的键
data1 = {'id': ['A', 'B', 'A', 'C', 'A', 'A', 'C']}
df1 = pd.DataFrame(data1)

# DataFrame 2: 包含唯一的键和待分配的数值
data2 = {'id': ['A', 'B', 'C'],
         'Col1': [400, 200, 600],
         'Col2': [100, np.nan, 800], # 使用np.nan表示空值
         'Col3': [20, 800, np.nan]}
df2 = pd.DataFrame(data2)

print("df1:")
print(df1)
print("\ndf2:")
print(df2)

输出的DataFrame如下：

琅琅配音

全能AI配音神器

208

查看详情

df1:
  id
0  A
1  B
2  A
3  C
4  A
5  A
6  C

df2:
  id  Col1   Col2   Col3
0  A   400  100.0   20.0
1  B   200    NaN  800.0
2  C   600  800.0    NaN

核心代码实现

以下是实现数值分配和合并的Pandas代码：

# 步骤1: 统计df1中'id'列的每个键值出现的次数
# 结果是一个Series，索引是id，值是计数
id_counts = df1['id'].value_counts()
print("\nid_counts (df1中每个id的出现次数):")
print(id_counts)

# 步骤2: 标准化df2中的数值
# 1. 将df2的'id'列设置为索引，以便与id_counts对齐
# 2. 使用div()函数将df2中除'id'列外的所有数值列除以对应的id_counts
#    axis=0表示按行（索引）对齐进行除法
df2_standardized = df2.set_index('id').div(id_counts, axis=0)
print("\ndf2_standardized (df2中数值按df1中id出现次数分配后):")
print(df2_standardized)

# 步骤3: 合并数据
# 1. 为了保留df1的原始索引顺序，先reset_index()将其转换为普通列
# 2. 使用merge()函数进行左连接，on='id'表示根据'id'列匹配
# 3. 合并后，重新设置索引为原始索引，并reindex()以确保顺序与df1一致
out = (df1.reset_index()
          .merge(df2_standardized, on='id', how='left')
          .set_index('index').reindex(df1.index)
      )

print("\n最终输出DataFrame (out):")
print(out)

代码详解

1. id_counts = df1['id'].value_counts():

   • df1['id'] 选取了df1中的id列。
   • .value_counts() 方法计算了id列中每个唯一值的出现频率，返回一个Pandas Series。例如，对于示例数据，它会返回A: 4, B: 1, C: 2。这个Series的索引就是id值。

2. df2_standardized = df2.set_index('id').div(id_counts, axis=0):

   • df2.set_index('id'): 这一步非常关键。它将df2的id列设置为其索引。这样做是为了让div()函数能够根据id值（现在是索引）与id_counts Series的索引进行对齐。
   • .div(id_counts, axis=0): 对df2中除了索引之外的所有数值列执行除法操作。
     • id_counts：作为除数。Pandas在执行操作时，会根据索引（即id值）自动将df2的行与id_counts中的对应计数对齐。
     • axis=0: 指定按行进行操作，即df2的每一行（对应一个id）都会被id_counts中对应id的计数所除。例如，df2中id='A'的行，其Col1、Col2、Col3值将全部除以4。

3. out = (df1.reset_index().merge(df2_standardized, on='id', how='left').set_index('index').reindex(df1.index))

   • df1.reset_index(): 在合并之前，将df1的当前索引（通常是默认的0到N-1整数索引）转换为一个名为'index'的普通列。这样做是为了在合并后能够方便地恢复df1的原始行顺序。
   • .merge(df2_standardized, on='id', how='left'):
     • merge() 函数用于将两个DataFrame基于一个或多个键列进行合并。
     • df2_standardized：这是经过处理后的df2。注意，它的id列现在是索引，merge函数会自动将其作为合并键。
     • on='id': 指定合并的键列。
     • how='left': 执行左连接。这意味着df1中的所有行都将被保留，如果df1中的某个id在df2_standardized中没有匹配项，则相应的数值列将填充NaN。
   • .set_index('index').reindex(df1.index):
     • set_index('index'): 将之前保存的原始索引列'index'重新设置回DataFrame的索引。
     • .reindex(df1.index): 这一步是可选但推荐的，它确保最终DataFrame的行顺序与原始df1的行顺序完全一致。

最终输出

  id   Col1   Col2   Col3
0  A  100.0   25.0    5.0
1  B  200.0    NaN  800.0
2  A  100.0   25.0    5.0
3  C  300.0  400.0    NaN
4  A  100.0   25.0    5.0
5  A  100.0   25.0    5.0
6  C  300.0  400.0    NaN

注意事项

• 数据类型：由于进行了除法操作，数值列的数据类型可能会从整数变为浮点数。如果需要整数结果，可能需要进行额外的类型转换（例如astype(int)），但要注意处理NaN值（通常需要先填充NaN才能转为整数）。
• NaN 值处理：如果df2中存在NaN值，div()操作会保留这些NaN。在合并后，如果df1中的某个id在df2中没有对应项，或者df2中对应列本身就是NaN，结果中也会出现NaN。根据具体业务需求，可能需要进一步使用fillna()等方法处理这些缺失值。
• 性能考量：对于非常大的DataFrame，merge操作可能会比较耗时。然而，Pandas的底层实现通常是高度优化的。对于此类基于键的合并和计算，上述方法通常是高效且Pythonic的。
• 键的唯一性：df2中的id列必须是唯一的，否则set_index('id')会导致错误或行为不确定。在实际应用中，应确保df2的键是唯一的，或者在设置索引前进行聚合处理。

总结

通过结合使用value_counts()、set_index()、div()和merge()等Pandas函数，我们可以优雅且高效地解决将DataFrame中的总值按比例分配到另一个DataFrame中重复键实例上的问题。这种方法不仅代码简洁，而且能够很好地处理数据对齐和缺失值等常见挑战，是Pandas数据处理能力的一个典型应用。掌握这种模式对于处理复杂的数据整合和转换任务至关重要。

以上就是高效处理Pandas DataFrame中基于键匹配的数值按比例分配的详细内容，更多请关注php中文网其它相关文章！