Pandas: 基于最近时间戳合并两个 DataFrames-Python教程-PHP中文网

Pandas: 基于最近时间戳合并两个 DataFrames

碧海醫心

发布： 2025-09-11 22:08:02

原创

815人浏览过

pandas: 基于最近时间戳合并两个 dataframes

本文档旨在介绍如何使用 Pandas 的 merge_asof 函数，基于时间戳的近似匹配，将两个 DataFrame 进行合并。我们将提供详细的代码示例，演示如何根据最近的时间戳，将一个 DataFrame 中的数据关联到另一个 DataFrame 中。通过学习本文，你将能够高效地处理时间序列数据，并解决实际应用中遇到的数据对齐问题。

使用 merge_asof 函数进行时间戳近似匹配合并

Pandas 提供了 merge_asof 函数，专门用于在两个排序的 DataFrame 之间执行近似连接。这在时间序列数据处理中非常有用，尤其是在需要根据最接近的时间戳匹配数据时。

准备数据

首先，我们需要创建两个示例 DataFrame，df1 和 df2，它们都包含时间戳和一些数据列。

import pandas as pd

df1 = pd.DataFrame({'Time1': ['2023-11-30 13:01:51.813', 
                              '2023-11-28 10:01:51.760', 
                              '2023-11-28 10:01:51.347', 
                              '2023-11-27 10:01:51.320', 
                              '2023-11-26 10:01:51.260'], 
                    'Data1': [2, 4, 6, 8, 10]})

df2 = pd.DataFrame({'Time2': ['2023-11-30 10:00:03.733', 
                              '2023-11-29 08:00:03.767', 
                              '2023-11-28 16:00:03.523', 
                              '2023-11-27 14:00:03.827', 
                              '2023-11-26 12:00:03.417'], 
                    'Data2': ['A', 'B', 'C', 'D', 'E']})

# 将时间字符串转换为 datetime 对象
df1['Time1'] = pd.to_datetime(df1['Time1'], format='%Y-%m-%d %H:%M:%S.%f')
df2['Time2'] = pd.to_datetime(df2['Time2'], format='%Y-%m-%d %H:%M:%S.%f')

登录后复制

排序 DataFrame

merge_asof 函数要求 DataFrame 按照连接键（在本例中是时间戳）进行排序。

df1 = df1.sort_values(by=['Time1'])
df2 = df2.sort_values(by=['Time2'])

登录后复制

执行 merge_asof 合并

现在我们可以使用 merge_asof 函数将两个 DataFrame 合并。

方法一：将时间戳设置为索引

美间AI

美间AI：让设计更简单

查看详情

df1 = df1.set_index('Time1')
df2 = df2.set_index('Time2')
df3 = pd.merge_asof(left=df1, right=df2, right_index=True, left_index=True, direction='nearest')
print(df3)

登录后复制

方法二：不将时间戳设置为索引

df3 = pd.merge_asof(left=df1, right=df2, left_on='Time1', right_on='Time2', direction='nearest')
print(df3)

登录后复制

direction='nearest' 参数指定了使用最近的时间戳进行匹配。你也可以选择 'forward' 或 'backward'，分别表示向前或向后匹配。

选择需要合并的列

如果只需要合并特定的列，可以在 merge_asof 函数中指定。

df3 = pd.merge_asof(left=df1[['Time1', 'Data1']], right=df2[['Time2', 'Data2']], left_on='Time1', right_on='Time2', direction='nearest')

登录后复制

注意事项

确保两个 DataFrame 按照连接键进行了排序。
merge_asof 函数对于处理时间序列数据非常有效，但在其他类型的数据中可能不适用。
根据实际需求选择合适的 direction 参数。
如果时间戳的精度非常高，可能需要考虑舍入或截断时间戳，以避免由于微小差异而导致的匹配失败。

总结

通过本文，你学习了如何使用 Pandas 的 merge_asof 函数，基于时间戳的近似匹配，将两个 DataFrame 进行合并。这种方法在处理时间序列数据时非常有用，可以高效地将来自不同数据源的数据关联起来。掌握 merge_asof 函数能够有效提升数据处理效率，并解决实际工作中的数据对齐问题。

以上就是Pandas: 基于最近时间戳合并两个 DataFrames的详细内容，更多请关注php中文网其它相关文章！