Pandas DataFrame按循环模式拆分数据：两种实用方法

本教程探讨了如何将pandas dataframe根据重复的序列模式（如公交路线的站点循环）拆分成独立的子dataframe。文章提供了两种核心策略：一种利用`eq`和`cumsum`结合`groupby`动态识别循环起点并分组；另一种则通过计算唯一元素数量并结合`numpy.array_split`进行固定长度的拆分。这两种方法都能有效地将连续数据流分割成逻辑上的独立周期。

在处理时间序列或事件序列数据时，我们经常会遇到需要将连续的数据流按特定循环模式分割成独立的逻辑单元的场景。例如，一个公交路线全天的停靠站数据，可能包含多次完整的行程（例如A->B->C），我们希望将这些连续的行程数据拆分成独立的DataFrame，以便于后续分析每个行程的特点。本文将介绍两种在Pandas中实现这一目标的实用方法。

场景概述：按循环模式拆分DataFrame的需求

假设我们有一个Pandas DataFrame，记录了某条公交路线的站点和计划时间：

import pandas as pd
df = pd.DataFrame({
    "scheduled": ["2023-05-25 13:00", "2023-05-25 13:15", "2023-05-25 13:45", 
                  "2023-05-25 14:35", "2023-05-25 14:50", "2023-05-25 15:20"],
    "stop": ["A", "B", "C", "A", "B", "C"]
})
df["scheduled"] = pd.to_datetime(df["scheduled"])
print(df)

输出：

            scheduled stop
0 2023-05-25 13:00:00    A
1 2023-05-25 13:15:00    B
2 2023-05-25 13:45:00    C
3 2023-05-25 14:35:00    A
4 2023-05-25 14:50:00    B
5 2023-05-25 15:20:00    C

在这个例子中，站点序列A->B->C构成了一个完整的行程循环。我们希望将这个DataFrame拆分为两个子DataFrame，每个子DataFrame对应一个A->B->C的行程。

方法一：利用 eq 和 cumsum 动态识别循环并分组

这种方法的核心思想是：如果每个循环都以相同的元素（例如，本例中的站点"A"）开始，我们可以通过识别这些起始元素来为每个循环生成一个唯一的组标识符，然后使用groupby进行拆分。

原理分析

1. 识别循环起点： 使用df['stop'].eq(df['stop'].iloc[0])，我们可以创建一个布尔序列，其中True表示当前站点与DataFrame的第一个站点（即第一个循环的起始站点）相同。
2. 生成组标识： 对这个布尔序列执行cumsum()操作。每当遇到True时，累加和会增加1。这样，每个循环的起始点都会导致组标识符递增，从而为每个完整的循环分配一个唯一的数字。
3. 分组拆分： 最后，使用生成的组标识符作为键，通过df.groupby(group)将DataFrame拆分成多个子DataFrame。

代码示例

# 1. 生成组标识符
group = df['stop'].eq(df['stop'].iloc[0]).cumsum()

# 2. 观察中间结果（可选）
print("带有组标识符的DataFrame:")
print(df.assign(group=group))

# 3. 使用groupby进行拆分
out_list_groupby = [g for _, g in df.groupby(group)]

print("\n拆分结果 (方法一):")
for i, sub_df in enumerate(out_list_groupby):
    print(f"--- 子DataFrame {i+1} ---")
    print(sub_df)

输出结果

带有组标识符的DataFrame:

            scheduled stop  group
0 2023-05-25 13:00:00    A      1
1 2023-05-25 13:15:00    B      1
2 2023-05-25 13:45:00    C      1
3 2023-05-25 14:35:00    A      2
4 2023-05-25 14:50:00    B      2
5 2023-05-25 15:20:00    C      2

拆分结果 (方法一):

AppMall应用商店

AI应用商店，提供即时交付、按需付费的人工智能应用服务

56

查看详情

--- 子DataFrame 1 ---
            scheduled stop
0 2023-05-25 13:00:00    A
1 2023-05-25 13:15:00    B
2 2023-05-25 13:45:00    C
--- 子DataFrame 2 ---
            scheduled stop
3 2023-05-25 14:35:00    A
4 2023-05-25 14:50:00    B
5 2023-05-25 15:20:00    C

适用场景与注意事项

• 优点： 这种方法非常灵活，不需要预先知道每个循环的精确长度。只要每个循环都以一个可识别的固定元素（通常是第一个循环的第一个元素）开始，它就能正确工作。
• 缺点/注意事项： 如果循环的起始元素在循环内部也出现，可能会导致错误的拆分。例如，如果行程是A->B->A->C，而我们期望的循环是A->B->A->C，则此方法可能无法正确识别。但对于严格的A->B->C->A->B->C模式，它是非常有效的。

方法二：结合 nunique 和 numpy.array_split 进行固定长度拆分

如果每个循环的长度是固定且已知的，或者可以通过计算序列中唯一元素的数量来推断，那么我们可以使用numpy.array_split进行更直接的拆分。

原理分析

1. 确定循环长度： 对于本例中的A->B->C模式，一个循环包含3个唯一的站点。我们可以通过df['stop'].nunique()来获取这个值。
2. 计算拆分点： numpy.array_split函数允许我们指定拆分点。我们可以通过range(n, len(df), n)生成一系列索引，这些索引将作为拆分的依据，其中n是每个循环的长度。
3. 执行拆分： np.array_split(df, split_points)将DataFrame在指定的索引处进行分割。

代码示例

import numpy as np

# 1. 确定每个循环的长度
n = df['stop'].nunique() # 在本例中，A, B, C是3个唯一站点，所以n=3
print(f"每个循环的长度 (唯一站点数): {n}")

# 2. 生成拆分点
# range(n, len(df), n) -> range(3, 6, 3) -> [3]
# 这意味着在索引3之前拆分，即[0,1,2]和[3,4,5]
split_points = range(n, len(df), n)
print(f"拆分点: {list(split_points)}")

# 3. 使用numpy.array_split进行拆分
out_list_numpy = np.array_split(df, split_points)

print("\n拆分结果 (方法二):")
for i, sub_df in enumerate(out_list_numpy):
    print(f"--- 子DataFrame {i+1} ---")
    print(sub_df)

输出结果

每个循环的长度 (唯一站点数): 3 拆分点: [3]

拆分结果 (方法二):

--- 子DataFrame 1 ---
            scheduled stop
0 2023-05-25 13:00:00    A
1 2023-05-25 13:15:00    B
2 2023-05-25 13:45:00    C
--- 子DataFrame 2 ---
            scheduled stop
3 2023-05-25 14:35:00    A
4 2023-05-25 14:50:00    B
5 2023-05-25 15:20:00    C

适用场景与注意事项

• 优点： 代码简洁，易于理解。如果每个循环的长度是固定且容易确定的，这是非常高效的方法。
• 缺点/注意事项：
  • 严格依赖于每个循环具有相同的固定长度n。
  • df['stop'].nunique()只能在循环模式中所有元素都是唯一且循环长度恰好等于唯一元素数量时才适用。如果循环是A->B->A->C，那么nunique()会得到3（A, B, C），但实际循环长度是4。在这种情况下，n需要手动指定。
  • 如果DataFrame的行数不能被n整除，array_split会尝试均匀分配剩余部分，可能导致最后一个子DataFrame的长度与其他不同。

总结与选择建议

本文介绍了两种在Pandas DataFrame中根据循环模式拆分数据的有效方法：

1. eq + cumsum + groupby：

   • 优点： 动态识别循环起点，无需预知循环长度，对循环内部元素重复不敏感（只要循环起点唯一）。
   • 缺点： 依赖于每个循环都以一个可识别的固定元素开始。
   • 适用场景： 当循环长度可能不固定，但每个循环都有一个明确的、可识别的起始标记时。

2. nunique + numpy.array_split：

   • 优点： 代码简洁，执行效率高。
   • 缺点： 严格要求每个循环具有相同的固定长度，并且需要准确地确定这个长度n。
   • 适用场景： 当每个循环的长度是固定且已知的，或者可以通过简单逻辑（如唯一元素数量）推断时。

在实际应用中，选择哪种方法取决于您的数据特性和对循环模式的理解。如果您的数据具有严格的重复模式且循环长度固定，方法二可能更简洁高效。如果循环长度可能变化，或者更关注循环的起始点，那么方法一将提供更强的灵活性和鲁棒性。

以上就是Pandas DataFrame按循环模式拆分数据：两种实用方法的详细内容，更多请关注php中文网其它相关文章！