使用Pandas高效合并DataFrame：基于字符串键提取与映射的教程

场景描述

在数据处理过程中，我们经常会遇到需要将两个数据集（dataframe）进行合并或关联的情况。然而，合并键的格式可能不尽相同，例如，一个dataframe的键是“1st”、“2nd”这样的字符串，而另一个dataframe的键是纯数字（1、2、3）。在这种情况下，直接使用merge函数可能无法达到预期效果，需要对键进行预处理。

假设我们有两个DataFrame，df1和df2，结构如下：

df1

df2

我们的目标是根据df1中的ceremony_number列（例如，从“1st”中提取“1”）与df2的索引（或一个名为index的列）进行匹配，然后将df2中的dates列添加到df1中，作为新的date_oscar列。

数据准备

首先，我们创建示例DataFrame并进行基本的数据类型转换，特别是日期列，将其转换为Pandas的datetime对象，这有助于后续的数据操作和一致性。

import pandas as pd

# 创建 df1
data1 = {
    'birthdate': {0: '9/30/1895', 1: '7/23/1884', 2: '3/29/1889',
                  3: '4/10/1868', 4: '4/8/1892'},
    'ceremony_number': {0: '1st', 1: '1st', 2: '2nd', 3: '3rd', 4: '2nd'}
}
df1 = pd.DataFrame(data1)

# 创建 df2
# 注意：df2的键是其索引，而不是一个单独的列
data2 = {'dates': {1: '1929-05-16', 2: '1930-04-03', 3: '1930-11-05'}}
df2 = pd.DataFrame(data2)

# 将日期列转换为datetime对象
df1['birthdate'] = pd.to_datetime(df1['birthdate'], format='%m/%d/%Y')
df2['dates'] = pd.to_datetime(df2['dates'], format='%Y-%m-%d')

print("原始 df1:")
print(df1)
print("\n原始 df2:")
print(df2)

输出：

硅基智能

基于Web3.0的元宇宙，去中心化的互联网，高质量、沉浸式元宇宙直播平台，用数字化重新定义直播

62

查看详情

原始 df1:
   birthdate ceremony_number
0 1895-09-30             1st
1 1884-07-23             1st
2 1889-03-29             2nd
3 1868-04-10             3rd
4 1892-04-08             2nd

原始 df2:
        dates
1  1929-05-16
2  1930-04-03
3  1930-11-05

核心解决方案：提取与映射

解决此问题的关键在于两个步骤：

1. 从df1['ceremony_number']字符串中提取数字。
2. 使用提取出的数字作为键，将df2['dates']的值映射到df1的新列中。

# 步骤1: 从 'ceremony_number' 列中提取数字
# 使用正则表达式 '^(\d+)' 匹配字符串开头的连续数字
# expand=False 确保返回一个 Series 而不是 DataFrame
# astype(int) 将提取到的字符串数字转换为整数类型，以便与 df2 的索引匹配
extracted_numbers = df1['ceremony_number'].str.extract('^(\d+)', expand=False).astype(int)

# 步骤2: 使用 map 函数将 df2['dates'] 的值映射到 df1
# map 方法接收一个 Series 或字典。当传入一个 Series 时，
# map 会使用该 Series 的索引作为查找键，Series 的值作为映射结果。
# 在这里，extracted_numbers 的每个值会作为键去 df2['dates'] 的索引中查找对应的值。
df1['date_oscar'] = extracted_numbers.map(df2['dates'])

print("\n合并后的 df1:")
print(df1)

输出：

合并后的 df1:
   birthdate ceremony_number date_oscar
0 1895-09-30             1st 1929-05-16
1 1884-07-23             1st 1929-05-16
2 1889-03-29             2nd 1930-04-03
3 1868-04-10             3rd 1930-11-05
4 1892-04-08             2nd 1930-04-03

关键技术解析

• Series.str.extract(pat, expand=False):
  • 这是一个强大的字符串方法，用于从Series中的每个字符串元素中提取匹配正则表达式pat的子串。
  • ^(\d+) 是一个正则表达式：
    • ^ 匹配字符串的开头。
    • \d+ 匹配一个或多个数字。
    • () 创建一个捕获组，这意味着我们只提取括号内的内容。
  • expand=False 参数确保返回一个Series，其中包含每个匹配的第一个捕获组。如果设置为True，则会返回一个DataFrame。
• Series.astype(int):
  • 将Series中的元素数据类型转换为整数。这是必要的，因为str.extract返回的是字符串，而df2的索引是整数。
• Series.map(arg):
  • map方法是Pandas中用于元素级映射的利器。当arg是一个Series时，map会使用调用Series（这里是extracted_numbers）中的值作为键，去arg的索引中查找对应的值。
  • 如果某个键在arg的索引中找不到，则对应的结果将是NaN。

替代方案与注意事项

虽然map方法在此场景下非常高效和简洁，但也可以考虑其他方法：

• DataFrame.merge():

  • 如果df2的匹配键是一个常规列（而不是索引），或者需要进行更复杂的合并类型（如内连接、左连接等），merge会是更通用的选择。
  • 在使用merge之前，同样需要对df1['ceremony_number']进行预处理，提取出数字，并可能需要重置df2的索引使其成为一个常规列。
  • 例如：

    # df2_temp = df2.reset_index().rename(columns={'index': 'ceremony_index'})
    # df1['temp_key'] = df1['ceremony_number'].str.extract('^(\d+)', expand=False).astype(int)
    # merged_df = pd.merge(df1, df2_temp, left_on='temp_key', right_on='ceremony_index', how='left')
    # df1['date_oscar'] = merged_df['dates']
    # df1.drop(columns=['temp_key'], inplace=True)

    登录后复制

    可以看出，map在添加单一列的场景下更为直接。

• 性能考量:

  • 避免使用Python原生的for循环遍历DataFrame行，因为这通常效率低下，尤其对于大型数据集。Pandas的str访问器和map等方法都是高度优化的矢量化操作，能够显著提高性能。

• 缺失值处理:

  • 如果extracted_numbers中的某个值在df2['dates']的索引中找不到对应的项，map操作会自动填充NaN（Not a Number）值。在实际应用中，你可能需要进一步处理这些NaN值，例如填充默认值或删除包含NaN的行。

总结

本教程展示了如何利用Pandas的str.extract和map方法，高效地解决两个DataFrame之间基于字符串键提取数字进行数据关联的问题。这种方法不仅代码简洁，而且由于使用了Pandas的矢量化操作，性能也远优于传统的循环处理方式。掌握这些技巧，将有助于你更灵活、高效地处理复杂的数据合并任务。

以上就是使用Pandas高效合并DataFrame：基于字符串键提取与映射的教程的详细内容，更多请关注php中文网其它相关文章！