Pandas高效合并包含重复值与多列结构的时间序列数据-Python教程-PHP中文网

Pandas高效合并包含重复值与多列结构的时间序列数据

聖光之護

发布： 2025-10-07 11:21:19

原创

492人浏览过

Pandas高效合并包含重复值与多列结构的时间序列数据

本教程详细介绍了如何使用Pandas高效处理并合并包含重复值和多列结构的时间序列数据。通过迭代提取每对日期-值序列、去除内部重复项，并统一索引后进行横向合并，最终生成一个以日期为统一索引，各序列值为独立列的规整数据集，有效解决了数据清洗和整合的复杂性。

问题描述与数据结构

在数据分析实践中，我们常会遇到一种特殊的数据结构：一个dataframe中包含多组独立的时间序列，每组时间序列由一个日期列和一个对应的数值列组成。更复杂的是，这些独立的序列内部可能存在重复的日期-值对。我们的目标是首先对每组时间序列进行去重，然后将所有去重后的时间序列按照日期进行合并，最终形成一个以统一日期为索引，各时间序列的数值作为独立列的规整数据集。

以下是一个典型的原始数据结构示例：

date1     header1  date2     header2  date3     header3
11.12.23  100      11.12.23  90       08.12.23  95
11.12.23  100      08.12.23  89       08.12.23  95
08.12.23  95       08.12.23  89       07.12.23  93

登录后复制

我们期望的最终输出结构如下：

      date  header1  header2  header3
0  11.12.23    100.0     90.0      NaN
1  08.12.23     95.0     89.0     95.0
2  07.12.23      NaN      NaN     93.0

登录后复制

可以看到，原始数据中 (date1, header1) 的 (11.12.23, 100) 出现了两次，需要去重。header3 的 (08.12.23, 95) 也出现了两次。合并后，不同时间序列的日期不完全重合的部分将填充 NaN。

解决方案核心思路

解决此问题的核心在于：

分治处理： 将原始DataFrame分解为多个独立的 (日期, 值) 对子DataFrame。
局部去重： 对每个子DataFrame内部进行去重操作，确保每个 (日期, 值) 对是唯一的。
标准化： 将每个子DataFrame的日期列统一命名并设置为索引，为后续的合并做准备。
全局合并： 使用Pandas的 concat 函数，沿着列方向（axis=1）将所有处理后的子DataFrame合并。由于它们都以日期为索引，concat 会自动根据索引对齐数据，不匹配的日期位置将填充 NaN。
重置索引： 将最终合并结果的日期索引重置为普通列，以符合目标输出格式。

详细步骤与代码实现

我们将使用Python和Pandas库来实现上述思路。

1. 准备示例数据

首先，创建上述示例数据对应的Pandas DataFrame：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

查看详情

import pandas as pd
import io

# 示例数据字符串
data = """date1     header1  date2     header2  date3     header3
11.12.23  100      11.12.23  90       08.12.23  95
11.12.23  100      08.12.23  89       08.12.23  95
08.12.23  95       08.12.23  89       07.12.23  93
"""

# 从字符串创建DataFrame
df = pd.read_csv(io.StringIO(data), sep=r'\s+')

# 转换日期列为datetime对象，以便后续处理（可选，但推荐）
# 这里为了与原始输出保持一致，暂时不转换，但实际应用中通常会转换
# for col in df.columns:
#     if 'date' in col:
#         df[col] = pd.to_datetime(df[col], format='%d.%m.%y')

print("原始DataFrame:")
print(df)

登录后复制

2. 迭代处理与合并

我们将利用列表推导式（list comprehension）来高效地迭代处理每一对 (日期, 值) 列。

# 假设每两列构成一个时间序列（日期和值）
# n 表示时间序列的组数，即 (dateX, headerX) 对的数量
n = 3 # 在本例中，有 date1/header1, date2/header2, date3/header3 三组

# 使用列表推导式处理每个时间序列
processed_series_list = []
for i in range(0, 2 * n, 2): # 步长为2，每次取一对列
    # 1. 选取当前时间序列的日期和值列
    current_series_df = df.iloc[:, i:(i+2)]

    # 2. 对当前时间序列进行去重
    # drop_duplicates() 默认会根据所有列去重
    deduplicated_series_df = current_series_df.drop_duplicates()

    # 3. 重命名日期列为 'Date'，并设置为索引
    # df.columns[i] 是当前日期列的原始名称 (e.g., 'date1', 'date2')
    renamed_indexed_df = deduplicated_series_df.rename(columns={df.columns[i]: 'Date'}).set_index('Date')

    processed_series_list.append(renamed_indexed_df)

# 4. 使用 pd.concat 沿列方向合并所有处理后的时间序列
# axis=1 表示按列合并，Pandas会根据索引（'Date'）自动对齐
merged_df = pd.concat(processed_series_list, axis=1)

# 5. 重置索引，将 'Date' 从索引变回普通列
final_df = merged_df.reset_index()

print("\n最终合并后的DataFrame:")
print(final_df)

登录后复制

完整代码示例

将上述步骤整合到一起，形成一个简洁的解决方案：

import pandas as pd
import io

# 示例数据字符串
data = """date1     header1  date2     header2  date3     header3
11.12.23  100      11.12.23  90       08.12.23  95
11.12.23  100      08.12.23  89       08.12.23  95
08.12.23  95       08.12.23  89       07.12.23  93
"""

# 从字符串创建DataFrame
df = pd.read_csv(io.StringIO(data), sep=r'\s+')

# 确定时间序列的组数
# 假设列名总是 'dateX', 'headerX' 这种模式，且成对出现
n = df.shape[1] // 2 

# 使用列表推导式和 pd.concat 进行处理
final_df = pd.concat([
    df.iloc[:, i:(i+2)] # 选取当前日期和值列
      .drop_duplicates() # 去除当前序列内部的重复项
      .rename(columns={df.columns[i]: 'Date'}) # 重命名日期列为 'Date'
      .set_index('Date') # 将 'Date' 设置为索引
    for i in range(0, 2 * n, 2) # 遍历所有时间序列对
], axis=1).reset_index() # 沿列方向合并，并重置索引

print("最终输出结果:")
print(final_df)

登录后复制

输出结果:

最终输出结果:
       Date  header1  header2  header3
0  11.12.23    100.0     90.0      NaN
1  08.12.23     95.0     89.0     95.0
2  07.12.23      NaN      NaN     93.0

登录后复制

注意事项

日期格式统一性： 确保所有日期列的格式一致。如果日期格式不一致，pd.to_datetime 可能无法正确解析，导致索引对齐失败。在实际应用中，建议在处理前将所有日期列转换为Pandas的 datetime 类型，例如：
```
# df['date1'] = pd.to_datetime(df['date1'], format='%d.%m.%y')
# df['date2'] = pd.to_datetime(df['date2'], format='%d.%m.%y')
# ...
```
登录后复制
这样可以避免因日期字符串格式差异导致的问题，并允许进行更复杂的日期时间操作。
列名约定： 此解决方案依赖于日期列和值列成对出现，且日期列在前。如果列名或顺序不固定，需要调整 df.iloc[:, i:(i+2)] 的选取逻辑，例如通过正则表达式匹配列名来动态分组。
NaN 值的处理： 合并后，由于不同时间序列的日期不完全重合，未匹配的单元格将自动填充 NaN。根据后续分析需求，可能需要对这些 NaN 值进行填充（fillna()）或删除（dropna()）操作。
性能考虑： 对于非常大的DataFrame和大量的时间序列，列表推导式结合 pd.concat 是一个高效的方法。然而，如果时间序列的数量特别庞大，可以考虑更高级的并行处理或分块处理策略。

总结

通过本教程，我们学习了如何利用Pandas的强大功能，包括 iloc 进行列选择、drop_duplicates 进行局部去重、rename 和 set_index 进行数据标准化，以及 pd.concat 进行高效合并，从而将一个包含多组重复时间序列的复杂DataFrame转换为一个规整、易于分析的格式。这种方法不仅解决了数据清洗的挑战，也为后续的数据分析奠定了坚实的基础。

以上就是Pandas高效合并包含重复值与多列结构的时间序列数据的详细内容，更多请关注php中文网其它相关文章！