Pandas DataFrame 按周期拆分：高效分割公交线路数据

本文介绍了如何使用 Pandas 将 DataFrame 按照特定的站点循环进行拆分，尤其适用于处理公交线路数据，将包含多个循环的单条线路数据分割成独立的行程。通过 `groupby` 和 `numpy.array_split` 两种方法，可以灵活地根据站点周期性重复的特点，将 DataFrame 分割成多个子 DataFrame，每个子 DataFrame 代表一个完整的行程。

在处理公交线路数据时，我们经常会遇到需要将包含多个行程的 DataFrame 按照行程进行拆分的情况。例如，一个 DataFrame 包含了某条公交线路一天内的所有站点和时间信息，而我们希望将它分割成多个子 DataFrame，每个子 DataFrame 代表一次完整的行程。本文将介绍两种方法来实现这个目标：使用 groupby 和使用 numpy.array_split。

方法一：使用 groupby

这种方法的核心思想是，通过比较当前站点与第一个站点是否相同，并使用 cumsum 函数来生成分组的依据。每次遇到第一个站点时，分组计数器就会增加，从而将 DataFrame 分成多个组。

代码示例：

import pandas as pd

df = pd.DataFrame({
    "scheduled": ["2023-05-25 13:00", "2023-05-25 13:15", "2023-05-25 13:45", "2023-05-25 14:35", "2023-05-25 14:50", "2023-05-25 15:20"],
    "stop": ["A", "B", "C", "A", "B", "C"]
})

# 将 scheduled 列转换为 datetime 类型
df["scheduled"] = pd.to_datetime(df["scheduled"])

# 创建分组依据
group = df['stop'].eq(df['stop'].iloc[0]).cumsum()

# 使用 groupby 进行分组
out = [g for _, g in df.groupby(group)]

print(out)

代码解释：

1. df['stop'].eq(df['stop'].iloc[0]): 这部分代码比较了 stop 列中的每个元素与第一个元素是否相等，返回一个布尔类型的 Series。
2. .cumsum(): 这部分代码对布尔类型的 Series 进行累加求和。当遇到第一个站点时，布尔值为 True，累加值加 1，从而形成分组的依据。
3. df.groupby(group): 这部分代码使用 groupby 函数，根据生成的分组依据对 DataFrame 进行分组。
4. [g for _, g in df.groupby(group)]: 这部分代码使用列表推导式，将分组后的结果转换为一个列表，列表中的每个元素都是一个子 DataFrame。

输出结果：

[                 scheduled stop
0 2023-05-25 13:00:00    A
1 2023-05-25 13:15:00    B
2 2023-05-25 13:45:00    C,                  scheduled stop
3 2023-05-25 14:35:00    A
4 2023-05-25 14:50:00    B
5 2023-05-25 15:20:00    C]

注意事项：

办公小浣熊

办公小浣熊是基于商汤大语言模型的原生数据分析产品，

77

查看详情

• 这种方法假设站点循环的模式是重复的，并且知道第一个站点是什么。
• 这种方法适用于站点数量未知，但循环模式已知的情况。

方法二：使用 numpy.array_split

这种方法的核心思想是，首先计算出唯一的站点数量，然后使用 numpy.array_split 函数将 DataFrame 按照站点数量进行分割。

代码示例：

import pandas as pd
import numpy as np

df = pd.DataFrame({
    "scheduled": ["2023-05-25 13:00", "2023-05-25 13:15", "2023-05-25 13:45", "2023-05-25 14:35", "2023-05-25 14:50", "2023-05-25 15:20"],
    "stop": ["A", "B", "C", "A", "B", "C"]
})

# 将 scheduled 列转换为 datetime 类型
df["scheduled"] = pd.to_datetime(df["scheduled"])

# 计算唯一站点的数量
n = df['stop'].nunique()

# 使用 numpy.array_split 进行分割
out = np.array_split(df, range(n, len(df), n))

print(out)

代码解释：

1. df['stop'].nunique(): 这部分代码计算 stop 列中唯一值的数量，即站点的数量。
2. range(n, len(df), n): 这部分代码生成一个分割点的列表。例如，如果 n 为 3，len(df) 为 6，则生成的列表为 [3]，表示在索引为 3 的位置进行分割。
3. np.array_split(df, range(n, len(df), n)): 这部分代码使用 numpy.array_split 函数，根据分割点列表将 DataFrame 分割成多个子 DataFrame。

输出结果：

[                 scheduled stop
0 2023-05-25 13:00:00    A
1 2023-05-25 13:15:00    B
2 2023-05-25 13:45:00    C,                  scheduled stop
3 2023-05-25 14:35:00    A
4 2023-05-25 14:50:00    B
5 2023-05-25 15:20:00    C]

注意事项：

• 这种方法假设每个行程包含的站点数量是相同的。
• 这种方法适用于已知站点数量，且每个行程站点数量相同的情况。

总结

本文介绍了两种使用 Pandas 拆分 DataFrame 的方法，分别使用了 groupby 和 numpy.array_split 函数。选择哪种方法取决于数据的特点和需求。如果站点循环模式已知，可以使用 groupby 方法；如果已知站点数量且每个行程站点数量相同，可以使用 numpy.array_split 方法。在实际应用中，可以根据具体情况选择合适的方法，或者结合两种方法来实现更复杂的需求。

以上就是Pandas DataFrame 按周期拆分：高效分割公交线路数据的详细内容，更多请关注php中文网其它相关文章！