在配送和物流分析中，识别配送人员在每次送货行程（sortie）中访问客户的顺序模式，对于优化路线、理解客户行为或评估配送效率具有重要意义。本教程将详细介绍如何使用pandas dataframe处理此类数据，以提取并量化这些客户访问链。
数据准备与问题描述
假设我们有一个Pandas DataFrame，其中包含配送人员的送货记录，结构如下：
- DateTime: 配送时间
- SortieNumber: 送货行程编号
- CustomerName: 客户名称
- ProductCode: 产品代码（本分析中不关心）
我们的目标是分析在每个SortieNumber中，客户的访问顺序是否一致。例如，如果一个送货行程的客户访问顺序是“Josh-Alice-Robert”，我们希望统计这种模式在所有行程中出现的次数。
首先，我们创建示例数据以进行演示：
import pandas as pd
from io import StringIO
data = """DateTime,SortieNumber,CustomerName,ProductCode
01/01/2023 09:00:00,1,Josh,001
01/01/2023 09:10:00,1,Alice,002
01/01/2023 09:15:00,1,Robert,002
01/01/2023 12:00:00,2,Anna,001
01/01/2023 12:00:10,2,Anna,003
01/01/2023 12:15:00,2,Robert,003
01/01/2023 15:00:00,3,Josh,004
01/01/2023 15:05:10,3,Alice,003
01/01/2023 15:15:00,3,Robert,001
01/01/2023 15:30:10,3,Robert,002
01/01/2023 15:35:15,3,Robert,003
"""
df = pd.read_csv(StringIO(data), sep=',')
df['DateTime'] = pd.to_datetime(df['DateTime'])
print("原始DataFrame:")
print(df)提取客户访问链的步骤
为了准确地提取客户访问链，我们需要执行以下几个关键步骤：
- 数据排序: 确保数据按SortieNumber和DateTime进行正确排序，这是构建正确访问顺序的基础。
- 去除连续重复客户: 在同一个SortieNumber中，如果一个客户被访问了多次（例如，因为交付了多个产品），我们只希望记录其第一次访问，以避免在链中出现重复的客户名。例如，Anna-Anna-Robert应简化为Anna-Robert。
- 构建客户链: 对每个SortieNumber，将去重后的客户名称按顺序连接成一个字符串。
- 统计链的出现频率: 计算每个独特客户链出现的次数。
下面是实现这些步骤的Pandas代码：
# 1. 数据排序
df_sorted = df.sort_values(by=['SortieNumber', 'DateTime'])
# 2. 去除连续重复客户
# 使用shift()和ne()组合判断当前行与前一行在'SortieNumber'或'CustomerName'上是否不同
# 这样可以保留每个SortieNumber中首次出现的客户，以及当SortieNumber不变但CustomerName变化时的行
df_unique_customers_per_sortie = df_sorted.loc[
df_sorted[['SortieNumber', 'CustomerName']]
.ne(df_sorted[['SortieNumber', 'CustomerName']].shift())
.any(axis=1)
]
# 注意：如果确定在同一个SortieNumber内，同一个客户不会被“跳过”后又再次访问
# 也就是说，如果客户A连续出现多次，则只会记录一次；如果客户A出现，然后客户B出现，再客户A出现，则会记录A-B-A
# 如果业务逻辑允许更严格的去重（即同一SortieNumber内，只要客户名出现过一次，后续出现都算重复），
# 可以简化为：df_unique_customers_per_sortie = df_sorted.drop_duplicates(['SortieNumber', 'CustomerName'])
# 但上述.ne().any(axis=1)的方法更通用和精确地处理了“连续重复”问题。
# 3. 构建客户链
customer_chains = df_unique_customers_per_sortie.groupby('SortieNumber')['CustomerName'].agg('-'.join)
# 4. 统计链的出现频率
chain_counts = customer_chains.value_counts()
print("\n客户访问链及其出现次数:")
print(chain_counts)代码解析：
- df.sort_values(by=['SortieNumber', 'DateTime']): 这是至关重要的一步，确保在处理每个SortieNumber内部的客户时，它们是按照时间顺序排列的。
- .loc[df_sorted[['SortieNumber', 'CustomerName']].ne(df_sorted[['SortieNumber', 'CustomerName']].shift()).any(axis=1)]:
- df_sorted[['SortieNumber', 'CustomerName']].shift(): 创建一个DataFrame，其中每一行是原始DataFrame的上一行数据。
- .ne(...): 比较当前行与上一行在SortieNumber和CustomerName列上是否“不相等”。结果是一个布尔型DataFrame。
- .any(axis=1): 对于布尔型DataFrame的每一行，如果SortieNumber或CustomerName中至少有一个与上一行不同，则返回True。这有效地筛选出：
- 每个SortieNumber的第一条记录。
- 在同一SortieNumber内，CustomerName发生变化的记录。
- 当SortieNumber发生变化时的第一条记录。
- .loc[...]: 使用这个布尔系列来筛选原始DataFrame，从而得到每个SortieNumber中客户名称不连续重复的记录。
- .groupby('SortieNumber')['CustomerName'].agg('-'.join):
- groupby('SortieNumber'): 将数据按SortieNumber分组。
- ['CustomerName'].agg('-'.join): 对每个分组中的CustomerName列，使用连字符-将所有客户名称连接起来，形成一个表示访问顺序的字符串。
- .value_counts(): 对生成的客户链字符串系列，统计每个独特字符串出现的次数。
结果解读与比例分析
上述代码将输出每个独特客户访问链的出现次数：
客户访问链及其出现次数: CustomerName Josh-Alice-Robert 2 Anna-Robert 1 Name: count, dtype: int64
这意味着Josh-Alice-Robert这个链在我们的示例数据中出现了2次，而Anna-Robert出现了1次。
如果需要计算每个链的出现比例（相对于总的送货行程数），可以在value_counts()方法中传入normalize=True参数：
chain_proportions = customer_chains.value_counts(normalize=True)
print("\n客户访问链及其出现比例:")
print(chain_proportions)输出将是：
客户访问链及其出现比例: CustomerName Josh-Alice-Robert 0.666667 Anna-Robert 0.333333 Name: proportion, dtype: float64
这表示Josh-Alice-Robert链占总行程的约66.67%，Anna-Robert链占约33.33%。
注意事项与总结
- 数据完整性与准确性: 确保DateTime和SortieNumber的准确性是分析的基础。任何数据录入错误都可能导致不正确的链条识别。
- 排序的重要性: 在进行任何分组和聚合操作之前，务必根据时间戳对数据进行排序，以保证客户访问顺序的正确性。
- 连续重复客户的处理: ne().any(axis=1)的方法是处理连续重复客户的通用且健壮的方式。它确保了在同一SortieNumber内，只有当客户名称实际发生变化时，才记录为新的访问点。如果您的业务逻辑允许更简单的去重（例如，同一SortieNumber内，只要客户名出现过一次，后续出现都算重复），可以使用drop_duplicates(['SortieNumber', 'CustomerName'])，但这可能导致一些链条的简化，具体取决于您对“链”的定义。
- 性能考量: 对于非常大的数据集，sort_values和shift操作可能会消耗较多内存和计算资源。在处理亿级数据时，可能需要考虑更优化的方法，例如使用Dask或PySpark。
通过上述方法，我们可以有效地从原始配送数据中提取并量化客户访问序列模式，为物流路径优化、客户行为分析和运营效率评估提供有价值的洞察。
