高效更新Pandas DataFrame列：基于多列匹配的策略

在数据处理中，我们经常会遇到需要根据一个dataframe（源数据）中的特定条件，来更新另一个dataframe（目标数据）中对应列值的场景。例如，根据id和名称的匹配，将源dataframe中的“类型”信息同步到目标dataframe。对于小规模数据，循环遍历可能可行，但当面对百万甚至千万级别的数据时，这种方法将变得极其缓慢且低效。pandas库提供了高度优化的方法来解决此类问题，其中set_index与update方法的结合是实现高效条件性更新的强大组合。

挑战与低效方法

假设我们有两个DataFrame，df1作为源数据，df2作为需要更新的目标数据。

import pandas as pd
import numpy as np

df1 = pd.DataFrame({'ID': [1, 2, 3, 5],
                    'Name': ['client', 'detail_client', 'operations', 'audit'],
                    'Type': ['str', 'var', 'str', 'nvar']})

df2 = pd.DataFrame({'ID': [5, 3, 7, 2],
                    'Name': ['audit', 'operations', 'C', 'detail_client'],
                    'Type': [np.nan, np.nan, np.nan, np.nan]})

print("df1 (源数据):")
print(df1)
print("\ndf2 (目标数据 - 待更新):")
print(df2)

预期结果是将df2中与df1的ID和Name匹配的行的Type列更新为df1中对应行的Type值：

   ID           Name  Type
0   5          audit  nvar
1   3     operations   str
2   7              C   nan
3   2  detail_client   var

如果采用传统的迭代方法，例如使用for循环遍历df1的每一行，然后在df2中查找匹配项并更新，代码会非常冗长且效率低下：

# 避免这种低效的迭代方法
# for idx1, row1 in df1.iterrows():
#     for idx2, row2 in df2.iterrows():
#         if row1['ID'] == row2['ID'] and row1['Name'] == row2['Name']:
#             df2.loc[idx2, 'Type'] = row1['Type']
#             break

这种嵌套循环的时间复杂度为O(N*M)，对于大型DataFrame而言是不可接受的。

Pandas高效解决方案：set_index与update方法

Pandas提供了DataFrame.update()方法，它允许我们使用另一个DataFrame的值来更新当前DataFrame。update()方法的核心在于它通过索引来对齐数据。如果两个DataFrame的索引不完全匹配，或者我们需要基于特定的列（而非索引）进行匹配，就需要先使用set_index()方法将这些列临时设置为索引。

核心原理

1. set_index(match_cols): 将需要匹配的列（例如ID和Name）设置为DataFrame的索引。这样，原本作为普通列的ID和Name将成为行标签，方便后续的对齐操作。
2. update(): 该方法会根据调用者DataFrame（目标DataFrame）和传入的DataFrame（源DataFrame）的索引进行对齐。如果索引匹配，源DataFrame中非NaN的值将覆盖目标DataFrame中对应位置的值。

实现函数

为了提高代码的复用性和可维护性，我们可以封装一个函数来执行此操作：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

def update_dataframe_columns(target_df, source_df, match_cols, update_cols):
    """
    根据源DataFrame中的匹配列值，更新目标DataFrame的指定列。

    Args:
        target_df (pd.DataFrame): 待更新的目标DataFrame。
        source_df (pd.DataFrame): 提供更新值的源DataFrame。
        match_cols (list): 用于匹配的列名列表，例如 ['ID', 'Name']。
        update_cols (list): 需要从源DataFrame更新到目标DataFrame的列名列表，例如 ['Type']。

    Returns:
        pd.DataFrame: 更新后的目标DataFrame。
    """
    # 将目标DataFrame和源DataFrame都根据匹配列设置索引
    # 注意：update方法是in-place操作，这里我们创建一个副本以避免修改原始target_df
    # 或者直接对副本操作并返回
    res = target_df.set_index(match_cols)

    # 从源DataFrame中选择匹配列和需要更新的列，并设置索引
    updater = source_df.set_index(match_cols)[update_cols]

    # 使用updater DataFrame来更新res DataFrame
    # update方法会根据索引对齐，并用updater中的非NaN值覆盖res中的值
    res.update(updater)

    # 将索引重置回普通列，恢复原始DataFrame结构
    return res.reset_index()

# 示例数据
df1 = pd.DataFrame({'ID': [1, 2, 3, 5],
                    'Name': ['client', 'detail_client', 'operations', 'audit'],
                    'Type': ['str', 'var', 'str', 'nvar']})

df2 = pd.DataFrame({'ID': [5, 3, 7, 2],
                    'Name': ['audit', 'operations', 'C', 'detail_client'],
                    'Type': [np.nan, np.nan, np.nan, np.nan]})

# 调用函数进行更新
updated_df2 = update_dataframe_columns(df2, df1, ['ID', 'Name'], ['Type'])

print("\n更新后的df2:")
print(updated_df2)

代码解析

1. res = target_df.set_index(match_cols):

   • 首先，我们对target_df（即本例中的df2）调用set_index(match_cols)。这会创建一个新的DataFrame res，其索引由ID和Name两列组成（形成一个MultiIndex）。这样做是为了让update方法能够基于这两列进行精确的行对齐。

2. updater = source_df.set_index(match_cols)[update_cols]:

   • 接着，我们对source_df（即本例中的df1）也执行类似操作，将其ID和Name列设置为索引。
   • 然后，我们通过[update_cols]（即['Type']）筛选出我们真正需要用来更新的列。这样，updater DataFrame就包含了源数据中用于更新的列，并且其索引与res的索引结构一致。

3. res.update(updater):

   • 这是核心步骤。res.update(updater)会遍历updater DataFrame。对于updater中每一个索引（即ID和Name的组合），如果res中存在相同的索引，并且updater在该索引位置的Type列值不是NaN，那么res中对应行的Type列值就会被updater中的值覆盖。
   • 如果res中某个索引在updater中不存在，或者updater中对应位置的值是NaN，那么res中该位置的值将保持不变。这正是我们希望的行为，例如df2中ID=7, Name='C'的行在df1中没有匹配项，其Type值仍保持为nan。

4. return res.reset_index():

   • 最后，由于set_index()将匹配列变成了索引，我们使用reset_index()将这些列从索引位置恢复为普通的列，使DataFrame的结构回到原始的扁平化形式，并返回更新后的DataFrame。

注意事项

1. 匹配列顺序: match_cols列表中的列顺序在set_index时会影响MultiIndex的层次结构。虽然update方法在匹配时会考虑整个MultiIndex，但为了清晰和避免潜在混淆，建议在target_df和source_df的set_index操作中使用相同的match_cols顺序。
2. 数据类型兼容性: update方法会尝试将源DataFrame的值写入目标DataFrame。如果目标列的数据类型与源列的数据类型不兼容，Pandas可能会进行类型强制转换，或者在某些情况下引发错误。请确保更新的列在数据类型上是兼容的。
3. 非匹配行处理: update方法只会更新索引匹配且源值非NaN的行。对于目标DataFrame中那些在源DataFrame中找不到匹配索引的行，或者源DataFrame中对应值为NaN的列，目标DataFrame中的值将保持不变。
4. 性能优势: 这种基于索引的矢量化操作在处理大型数据集时，性能远超基于循环的逐行操作，是Pandas推荐的高效数据处理方式。
5. 内存使用: set_index和update操作会创建新的DataFrame对象（或中间视图），可能会暂时增加内存使用。对于极大规模的数据集，需要考虑内存限制。

总结

通过巧妙地结合使用set_index()和update()方法，我们可以高效、简洁地实现Pandas DataFrame的条件性列更新。这种方法不仅性能卓越，而且代码可读性强，是处理大数据量时进行数据同步和清洗的专业选择。掌握这一技巧，将极大地提升您的Pandas数据处理能力。

以上就是高效更新Pandas DataFrame列：基于多列匹配的策略的详细内容，更多请关注php中文网其它相关文章！