高效统计DataFrame多列日期范围内数据：构建漏斗分析的专业方法

import pandas as pd

# 创建示例数据
data = {
    'stage 1': ['1/3/2023', '2/5/2023', '1/15/2023'],
    'stage 2': ['4/3/2023', '2/6/2023', '6/3/2023'],
    'stage 3': ['5/7/2023', '3/4/2023', '7/8/2023']
}
df = pd.DataFrame(data, index=['row 1', 'row 2', 'row 3'])

# 将所有日期列转换为datetime对象
# 使用applymap而不是apply，因为我们希望对每个元素应用函数
df_datetime = df.apply(pd.to_datetime)

print("原始DataFrame (转换为datetime):")
print(df_datetime)

原始DataFrame (转换为datetime):
             stage 1    stage 2    stage 3
row 1 2023-01-03 2023-04-03 2023-05-07
row 2 2023-02-05 2023-02-06 2023-03-04
row 3 2023-01-15 2023-06-03 2023-07-08

# 错误的方法示例
start_date = pd.to_datetime('2023-1-1')
end_date = pd.to_datetime('2023-3-30')

# 这种方法会错误地计数，因为它先判断行中是否有任何日期在范围内，
# 然后再判断是否有任何日期在范围外，最后进行行级别的筛选。
# 这会导致即使某一列的日期不在范围内，只要同行的其他列日期在范围内，
# 整行也会被考虑，从而导致对不在范围内的列也进行了计数。
# 此外，它也无法直接提供每列的计数。
# df[(df_datetime >= start_date).any(axis=1) & (df_datetime <= end_date).any(axis=1)]

# 正确的方法示例 (针对单个日期范围)
start_date = pd.to_datetime('2023-1-1')
end_date = pd.to_datetime('2023-3-30')

# 1. 元素级比较：生成两个布尔型DataFrame
# tmp.ge(start_date) 检查每个日期是否大于等于开始日期
# tmp.le(end_date) 检查每个日期是否小于等于结束日期
is_ge_start = df_datetime.ge(start_date)
is_le_end = df_datetime.le(end_date)

# 2. 元素级逻辑与操作：结合两个布尔型DataFrame
# 只有当日期同时满足大于等于开始日期 AND 小于等于结束日期时，结果才为True
in_range_mask = is_ge_start & is_le_end

print("\n布尔掩码 (in_range_mask):")
print(in_range_mask)

# 3. 列向求和：True被视为1，False被视为0，求和即得到计数
counts_per_column = in_range_mask.sum()

print(f"\n日期范围 {start_date.strftime('%Y-%m-%d')} - {end_date.strftime('%Y-%m-%d')} 的计数:")
print(counts_per_column)

布尔掩码 (in_range_mask):
       stage 1  stage 2  stage 3
row 1     True    False    False
row 2     True     True     True
row 3     True    False    False

日期范围 2023-01-01 - 2023-03-30 的计数:
stage 1    3
stage 2    1
stage 3    1
dtype: int64

def count_stages_by_date_ranges(df: pd.DataFrame, date_intervals: list[tuple[str, str]]) -> pd.DataFrame:
    """
    统计DataFrame中各阶段（列）在指定日期范围内的记录数。

    参数:
        df (pd.DataFrame): 包含日期数据的原始DataFrame。
        date_intervals (list[tuple[str, str]]): 包含日期范围元组的列表，
                                                 每个元组包含开始日期和结束日期字符串。

    返回:
        pd.DataFrame: 一个新的DataFrame，索引为日期范围，列为阶段名称，
                      值为对应阶段在该日期范围内的记录数。
    """
    # 确保DataFrame中的日期列已转换为datetime类型
    df_datetime = df.apply(pd.to_datetime)

    results = {}
    for start_str, end_str in date_intervals:
        start_date = pd.to_datetime(start_str)
        end_date = pd.to_datetime(end_str)

        # 应用核心逻辑：元素级比较和逻辑与
        in_range_mask = (df_datetime.ge(start_date) & df_datetime.le(end_date))

        # 对布尔掩码进行列向求和，得到每个阶段的计数
        counts = in_range_mask.sum()

        # 将结果存储到字典中，键为日期范围字符串
        range_label = f"{start_date.strftime('%Y/%m/%d')} - {end_date.strftime('%Y/%m/%d')}"
        results[range_label] = counts.to_dict()

    # 将结果字典转换为DataFrame
    output_df = pd.DataFrame.from_dict(results, orient='index')
    output_df.index.name = 'Date Range'
    return output_df

# 定义多个日期范围
date_ranges = [
    ('2023-1-1', '2023-4-1'),
    ('2023-4-1', '2023-7-1'),
    ('2023-7-1', '2023-10-1')
]

# 调用函数获取结果
funnel_counts_df = count_stages_by_date_ranges(df, date_ranges)

print("\n多日期范围的漏斗计数结果:")
print(funnel_counts_df)

多日期范围的漏斗计数结果:
                        stage 1  stage 2  stage 3
2023/01/01 - 2023/04/01        2        1        1
2023/04/01 - 2023/07/01        0        2        1
2023/07/01 - 2023/10/01        0        1        1