Pandas 数据框子集行更新：高效赋值与常见陷阱解析

1. 问题背景与常见误区

在数据处理中，我们经常面临需要根据一个数据框（例如 df2）中的匹配键（如列 a 和 b），来更新另一个数据框（例如 df1）中相应行特定列（如列 c）的值。一个常见的直觉性尝试是先设置索引，然后使用 .loc 进行赋值。

考虑以下两个 Pandas DataFrame：

import pandas as pd

df1 = pd.DataFrame({'a':(1,2,3,4),'b':(10,20,30,40),'c':(100,200,300,400)})
df2 = pd.DataFrame({'a':(1,2,3),'b':(10,20,30),'c':(1111,2222,3333)})

print("df1:")
print(df1)
print("\ndf2:")
print(df2)

输出：

df1:
   a   b    c
0  1  10  100
1  2  20  200
2  3  30  300
3  4  40  400

df2:
   a   b     c
0  1  10  1111
1  2  20  2222
2  3  30  3333

我们期望通过 df2 的 a, b 列匹配 df1，并将 df2.c 的值赋给 df1.c。一个常见的尝试是：

# 错误的尝试
df1.set_index(['a', 'b']).loc[df2.set_index(['a', 'b']).index, 'c'] = df2.c
print("\n错误的尝试后 df1:")
print(df1)

然而，这段代码并不会按照预期修改 df1。df1 仍然保持不变：

错误的尝试后 df1:
   a   b    c
0  1  10  100
1  2  20  200
2  3  30  300
3  4  40  400

失败原因解析：

df1.set_index(['a', 'b']) 操作会返回一个 新的 DataFrame 视图或副本，而不是对 df1 进行原地修改。当您对这个临时生成的 DataFrame 进行 .loc[...] = ... 赋值时，修改的是这个临时对象，而不是原始的 df1。一旦该行代码执行完毕，这个临时对象就会被丢弃，因此 df1 保持不变。为了实现原地修改，我们需要采用更间接或 Pandas 特定的方法。

2. 解决方案

以下提供两种推荐的解决方案，它们能够有效地实现目标。

2.1 方法一：使用 merge 和 combine_first 进行合并更新

这种方法适用于当您需要将 df2 的更新合并到 df1 中，同时保留 df1 中未被 df2 匹配到的行的原始值。它通过 merge 操作将 df2 的相关信息引入 df1，然后利用 combine_first 智能地填充新值。

先见AI

数据为基，先见未见

95

查看详情

# 重置 df1 以便演示
df1 = pd.DataFrame({'a':(1,2,3,4),'b':(10,20,30,40),'c':(100,200,300,400)})

# 步骤1: 合并 df1 的匹配键和 df2 的更新值
# 使用 'left' 合并确保 df1 的所有行都被保留
merged_df = df1[['a', 'b']].merge(df2, on=['a', 'b'], how='left', suffixes=('_df1', '_df2'))

# 步骤2: 使用 combine_first 将 df2 的 'c' 值优先合并到 df1 的 'c'
# combine_first 会用调用者（即 df1 的 c 列）的值填充 NaN
# 为了简化，我们可以直接让 df2 的 c 列覆盖 df1 的 c 列
# 更直接的做法是创建一个新的 'c' 列，然后替换
# 这里我们直接创建期望的 'c' 列
updated_c = merged_df['c_df2'].combine_first(df1['c'])

# 将更新后的 'c' 列赋值回 df1
df1['c'] = updated_c

print("\n方法一：使用 merge 和 combine_first 更新后的 df1:")
print(df1)

输出：

方法一：使用 merge 和 combine_first 更新后的 df1:
   a   b       c
0  1  10  1111.0
1  2  20  2222.0
2  3  30  3333.0
3  4  40   400.0

解释：

1. df1[['a', 'b']].merge(df2, on=['a', 'b'], how='left'): 首先，我们从 df1 中选取用于匹配的列 a 和 b，然后与 df2 进行左连接（how='left'）。这意味着 df1 中的所有行都会被保留，并且根据 a 和 b 的匹配，df2 中的 c 列（这里为了区分，实际操作中会重命名为 c_df2）会被引入。未匹配的行，df2 的 c 列对应位置将是 NaN。
2. merged_df['c_df2'].combine_first(df1['c']): 这一步是关键。combine_first 方法会优先使用 merged_df['c_df2'] （即 df2 提供的更新值）的值。如果 merged_df['c_df2'] 为 NaN（表示 df1 中的行在 df2 中没有匹配），则会使用 df1['c'] 的原始值进行填充。
3. 最后，将生成的 updated_c 系列赋值回 df1['c']，完成更新。

2.2 方法二：结合 merge、reset_index 和 fillna 进行原地更新

此方法更加灵活，尤其适用于需要精确控制更新逻辑，并希望在原始 DataFrame 上进行原地赋值的场景。它利用 merge 获取更新值，并通过 reset_index 和 set_index 巧妙地将结果对齐回原始 DataFrame 的索引。

# 重置 df1 以便演示
df1 = pd.DataFrame({'a':(1,2,3,4),'b':(10,20,30,40),'c':(100,200,300,400)})

# 步骤1: 将 df1 的索引重置为普通列，以便进行合并
# 步骤2: 与 df2 进行左合并，获取更新的 'c' 值
# 步骤3: 将合并结果的索引重新设置为原始索引，以便与 df1 对齐
# 步骤4: 使用 fillna 填充未匹配行的 'c' 值（保留 df1 原始值）
updated_c_series = (df1[['a', 'b']].reset_index()
                    .merge(df2, on=['a', 'b'], how='left')
                    .set_index('index')['c'] # 这里的 'c' 是 df2 的 'c'
                    .fillna(df1['c'])
                   )

# 将更新后的 Series 赋值回 df1 的 'c' 列
df1['c'] = updated_c_series

print("\n方法二：结合 merge、reset_index 和 fillna 更新后的 df1:")
print(df1)

输出：

方法二：结合 merge、reset_index 和 fillna 更新后的 df1:
   a   b       c
0  1  10  1111.0
1  2  20  2222.0
2  3  30  3333.0
3  4  40   400.0

解释：

1. df1[['a', 'b']].reset_index(): 为了在合并后能将结果正确地映射回 df1 的原始位置，我们首先将 df1 的当前索引保存为一个新的列（通常名为 index），然后将索引重置为默认的整数索引。
2. .merge(df2, on=['a', 'b'], how='left'): 接着，进行左合并操作，将 df2 中的 c 值根据 a 和 b 的匹配引入。
3. .set_index('index')['c']: 合并后的 DataFrame 会包含原始的 index 列和 df2 的 c 列。我们再次将 index 列设置回索引，并选择 df2 的 c 列。此时，这个 Series 的索引与 df1 的原始索引一致，且包含 df2 提供的更新值（未匹配的为 NaN）。
4. .fillna(df1['c']): 最后，使用 fillna 方法。对于那些在 df2 中没有匹配到，导致 c 值为 NaN 的行，我们用 df1 原始的 c 列值来填充它们。
5. 将生成的 updated_c_series 赋值回 df1['c']，完成原地更新。

3. 注意事项

• df2 中匹配键的唯一性： 上述两种方法都假设 df2 中用于匹配的组合键（例如 a 和 b）是唯一的。如果 df2 中存在重复的 (a, b) 组合，merge 操作可能会导致 df1 的行被复制，或者 c 值被不确定地选择。在实际应用中，如果 df2 可能有重复键，您需要提前处理 df2，例如通过 drop_duplicates() 或聚合来确保唯一性。
• 数据类型： 更新后的列 c 的数据类型可能会发生变化，特别是当原始 c 列是整数类型，而更新值中包含 NaN 时，Pandas 会自动将其转换为浮点数类型（如 1111.0）。如果需要保持整数类型，您可能需要在 fillna 之后使用 astype(int)，但这会要求没有 NaN 值。
• 性能： 对于非常大的 DataFrame，merge 操作的性能是一个考虑因素。在大多数情况下，Pandas 的 merge 经过高度优化，效率很高。

4. 总结

在 Pandas 中更新数据框的子集行是一个常见的任务，但直接使用 set_index().loc[...] 可能会因为操作的是临时视图而失败。为了实现高效且正确的更新，我们应采用 merge 和 combine_first 或 merge、reset_index 和 fillna 的组合方法。这些方法不仅能够正确地将外部数据合并到现有 DataFrame 中，还能灵活地处理未匹配项，并支持原地更新，是 Pandas 数据操作中的重要技巧。选择哪种方法取决于您的具体需求，例如是否需要保留原始索引、是否需要处理未匹配项，以及对数据类型和性能的考量。

以上就是Pandas 数据框子集行更新：高效赋值与常见陷阱解析的详细内容，更多请关注php中文网其它相关文章！