Pandas DataFrame按循环模式高效分割数据教程

本教程探讨如何在pandas dataframe中根据重复的停靠站序列（例如公交线路的行程周期）进行数据分割。文章将介绍两种主要方法：一是利用`groupby`结合`cumsum`动态识别循环起始点并分组；二是利用`nunique`确定循环长度后，结合`numpy.array_split`进行固定长度分割。通过示例代码，帮助读者高效地将单一长dataframe拆分为多个独立的行程子dataframe，以适应数据分析需求。

在处理时间序列或顺序数据时，我们经常会遇到需要根据某种重复模式将一个大型数据集分割成多个逻辑上独立的子集的需求。一个典型的例子是公共交通数据，其中一辆公交车会按照固定的站点序列（例如A->B->C）反复运行，形成多个“行程”或“周期”。尽管时间戳可能不同，但站点的序列模式是重复的。本教程将介绍如何利用Pandas和NumPy的强大功能，有效地实现这种基于循环模式的DataFrame分割。

首先，我们构建一个示例DataFrame，它包含公交车的计划时间（scheduled）和停靠站（stop）：

import pandas as pd
import numpy as np

df = pd.DataFrame({
    "scheduled": ["2023-05-25 13:00", "2023-05-25 13:15", "2023-05-25 13:45", "2023-05-25 14:35", "2023-05-25 14:50", "2023-05-25 15:20"],
    "stop": ["A", "B", "C", "A", "B", "C"]
})
df["scheduled"] = pd.to_datetime(df["scheduled"])

print("原始DataFrame:")
print(df)

输出的原始DataFrame如下：

原始DataFrame:
            scheduled stop
0 2023-05-25 13:00:00    A
1 2023-05-25 13:15:00    B
2 2023-05-25 13:45:00    C
3 2023-05-25 14:35:00    A
4 2023-05-25 14:50:00    B
5 2023-05-25 15:20:00    C

我们的目标是将这个DataFrame分割成两个子DataFrame，每个子DataFrame代表一个完整的A->B->C行程。

方法一：利用 groupby 和 cumsum 动态识别循环

这种方法适用于循环模式的长度未知，但每次循环都以一个特定的起始元素（例如第一个停靠站）开始的情况。我们通过识别每次出现起始元素来标记新的循环。

实现原理：

1. 确定循环的起始元素。在本例中，是第一个停靠站 df['stop'].iloc[0]，即 'A'。
2. 使用 df['stop'].eq(df['stop'].iloc[0]) 创建一个布尔Series，标记所有与起始元素相同的行。
3. 对这个布尔Series应用 cumsum()。cumsum() 会将 True 视为1，False 视为0，并进行累加。这样，每当起始元素再次出现时，累加值就会增加1，从而为每个循环生成一个唯一的组ID。
4. 最后，使用 groupby() 结合这个组ID来分割DataFrame。

示例代码：

# 步骤1: 识别循环起始点并生成组ID
group_id = df['stop'].eq(df['stop'].iloc[0]).cumsum()
df_with_group = df.assign(group=group_id)

print("\n带有组ID的DataFrame:")
print(df_with_group)

# 步骤2: 使用groupby分割DataFrame
split_dfs_groupby = [g for _, g in df.groupby(group_id)]

print("\n使用groupby分割后的DataFrame列表:")
for i, sub_df in enumerate(split_dfs_groupby):
    print(f"--- 子DataFrame {i+1} ---")
    print(sub_df)

输出结果：

带有组ID的DataFrame:
            scheduled stop  group
0 2023-05-25 13:00:00    A      1
1 2023-05-25 13:15:00    B      1
2 2023-05-25 13:45:00    C      1
3 2023-05-25 14:35:00    A      2
4 2023-05-25 14:50:00    B      2
5 2023-05-25 15:20:00    C      2

使用groupby分割后的DataFrame列表:
--- 子DataFrame 1 ---
            scheduled stop
0 2023-05-25 13:00:00    A
1 2023-05-25 13:15:00    B
2 2023-05-25 13:45:00    C
--- 子DataFrame 2 ---
            scheduled stop
3 2023-05-25 14:35:00    A
4 2023-05-25 14:50:00    B
5 2023-05-25 15:20:00    C

注意事项：

• 这种方法假设每个循环都以相同的元素开始，并且该元素不会在循环中间出现。
• 它不需要预先知道每个循环的长度，具有很好的灵活性。

方法二：利用 nunique 和 numpy.array_split 进行固定长度分割

如果已知每个循环的长度（即一个行程包含多少个独特的停靠站），那么可以使用 numpy.array_split 进行更直接的分割。

ClipDrop Relight

ClipDrop推出的AI图片图像打光工具

下载

实现原理：

1. 计算数据中独特停靠站的数量 n，这通常就是每个循环的长度。
2. 使用 numpy.array_split，它能够将一个数组（或DataFrame）分割成大致相等大小的多个子数组。关键在于提供分割点的索引列表。
3. 分割点可以根据循环长度 n 和DataFrame的总长度 len(df) 来生成，例如 range(n, len(df), n)。

示例代码：

# 步骤1: 确定每个循环的长度
# 这里通过计算unique stop的数量来得到一个行程的站点数
n_stops_per_cycle = df['stop'].nunique()
print(f"\n每个循环的停靠站数量: {n_stops_per_cycle}")

# 步骤2: 生成分割点并使用numpy.array_split进行分割
# range(n_stops_per_cycle, len(df), n_stops_per_cycle) 会生成 [3]
# 这表示在索引3处进行分割
split_points = range(n_stops_per_cycle, len(df), n_stops_per_cycle)
split_dfs_numpy = np.array_split(df, list(split_points))

print("\n使用numpy.array_split分割后的DataFrame列表:")
for i, sub_df in enumerate(split_dfs_numpy):
    print(f"--- 子DataFrame {i+1} ---")
    print(sub_df)

输出结果：

每个循环的停靠站数量: 3

使用numpy.array_split分割后的DataFrame列表:
--- 子DataFrame 1 ---
            scheduled stop
0 2023-05-25 13:00:00    A
1 2023-05-25 13:15:00    B
2 2023-05-25 13:45:00    C
--- 子DataFrame 2 ---
            scheduled stop
3 2023-05-25 14:35:00    A
4 2023-05-25 14:50:00    B
5 2023-05-25 15:20:00    C

注意事项：

• 此方法要求每个循环的长度是固定的。如果循环长度不一致，可能会导致分割错误。
• np.array_split 返回的是NumPy数组的列表，但由于我们传入的是DataFrame，所以返回的子元素仍然是DataFrame。
• 如果DataFrame的行数不能被 n_stops_per_cycle 整除，array_split 会尽可能均匀地分配，但可能导致最后一个子DataFrame的行数少于 n_stops_per_cycle。在处理严格的周期数据时，通常需要确保数据是完整周期的倍数。

总结与选择建议

两种方法都能有效地将DataFrame根据循环模式进行分割，但适用场景略有不同：

• groupby + cumsum 方法：

  • 优点： 灵活性高，无需预知循环长度。只要能明确识别循环的起始点，即可使用。
  • 缺点： 依赖于一个稳定的起始元素，如果循环中间也出现该元素，会导致错误分组。
  • 适用场景： 循环模式长度可能变化，但起始标记明确且唯一的场景。

• nunique + numpy.array_split 方法：

  • 优点： 代码简洁，执行效率可能更高（对于大型数据集）。
  • 缺点： 严格要求每个循环的长度固定且已知。
  • 适用场景： 循环模式长度固定不变，且容易计算出每次循环的元素数量的场景。

在实际应用中，应根据数据的特点和对循环模式的理解来选择最合适的方法。如果数据中的周期模式严格且长度固定，numpy.array_split 可能更直接。如果周期长度不确定或需要根据某个特定事件动态分组，groupby 结合 cumsum 则更为强大和通用。无论选择哪种方法，清晰地理解数据的结构和潜在的重复模式是实现高效数据分割的关键。