
本文详细介绍了如何利用pandas库创建按半年(上半年/下半年)间隔分组的数据透视表,而非传统的按年分组。通过结合年份和月份条件判断,实现自定义的时间周期聚合,并进一步演示了如何将生成的多级索引转换回标准的日期格式,以提高数据分析和可视化的灵活性。
在数据分析中,我们经常需要对时间序列数据进行聚合和汇总。Pandas的pivot_table功能非常强大,可以方便地按年、季度、月等标准时间单位进行分组。然而,在某些业务场景下,我们可能需要更灵活的自定义时间间隔,例如按半年(上半年H1、下半年H2)进行数据汇总。本文将详细讲解如何实现这一需求,并提供将自定义索引转换回日期格式的方法。
首先,我们创建一个包含日期索引和随机数据的Pandas DataFrame作为示例。为了与问题描述保持一致,我们还添加了一个Vessel列,用于在数据透视表中作为列。
import pandas as pd
import numpy as np
# 创建日期范围从2023年1月1日到2024年1月5日
date_rng = pd.date_range(start='2023-01-01', end='2024-01-05', freq='D')
# 生成随机数据
data = np.random.rand(len(date_rng), 3)
df = pd.DataFrame(data, columns=['Column1', 'Column2', 'Column3'], index=date_rng)
# 添加Vessel列,用于数据透视表的列
df["Vessel"] = np.random.randint(1, 5, size=len(date_rng))
print("原始DataFrame的前5行:")
print(df.head())要实现按半年间隔分组,我们需要在pivot_table的index参数中提供一个包含年份和半年标识符的列表。年份可以直接通过df.index.year获取。半年的标识符(H1或H2)可以通过判断月份是否小于等于6来生成。这里我们使用numpy.where函数进行条件判断:如果月份小于等于6,则为"H1"(上半年),否则为"H2"(下半年)。
# 使用pivot_table创建按半年间隔分组的数据透视表
pivot_df = pd.pivot_table(
df,
index=[df.index.year, np.where(df.index.month <= 6, "H1", "H2")], # 关键:自定义索引
columns="Vessel",
values=["Column1", "Column2", "Column3"],
aggfunc="nunique", # 聚合函数,计算唯一值的数量
)
print("\n按半年间隔分组的数据透视表:")
print(pivot_df)输出示例:
Column1 Column2 Column3
Vessel 1 2 3 4 1 2 3 4 1 2 3 4
2023 H1 39.0 41.0 59.0 42.0 39.0 41.0 59.0 42.0 39.0 41.0 59.0 42.0
H2 43.0 53.0 34.0 54.0 43.0 53.0 34.0 54.0 43.0 53.0 34.0 54.0
2024 H1 NaN 1.0 3.0 1.0 NaN 1.0 3.0 1.0 NaN 1.0 3.0 1.0从输出可以看出,数据透视表的索引现在是多级的,第一级是年份,第二级是半年标识符(H1或H2),清晰地展示了每个半年内各Vessel的Column1、Column2、Column3的唯一值数量。
虽然多级索引在某些情况下很有用,但在进行时间序列分析或可视化时,我们可能更倾向于使用标准的日期索引。我们可以通过遍历当前的年和半年标识符,并根据半年标识符构建对应的日期(例如,H1对应当年1月1日,H2对应当年7月1日),然后将其转换回datetime对象。
# 将数据透视表的索引转换回日期格式
pivot_df.index = [
pd.to_datetime(f'{year}-{"01-01" if half == "H1" else "07-01"}') # 注意:H2通常从7月1日开始
for year, half in pivot_df.index
]
print("\n索引转换为日期格式后的数据透视表:")
print(pivot_df)输出示例:
Column1 Column2 Column3 Vessel 1 2 3 4 1 2 3 4 1 2 3 4 2023-01-01 48.0 44.0 43.0 46.0 48.0 44.0 43.0 46.0 48.0 44.0 43.0 46.0 2023-07-01 49.0 41.0 48.0 46.0 49.0 41.0 48.0 46.0 49.0 41.0 48.0 46.0 2024-01-01 1.0 1.0 NaN 3.0 1.0 1.0 NaN 3.0 1.0 1.0 NaN 3.0
现在,数据透视表的索引已经变为了标准的日期格式,更便于后续的时间序列操作和分析。
本文演示了如何使用Pandas pivot_table结合numpy.where和日期时间属性,灵活地创建按半年间隔分组的数据透视表。这种方法不仅解决了按自定义时间间隔聚合数据的需求,还提供了将多级索引转换回标准日期格式的方案,极大地增强了Pandas在时间序列数据分析中的应用能力。掌握这种技巧,将使你在处理复杂时间维度的数据时更加得心应手。
以上就是使用Pandas创建按半年间隔分组的数据透视表的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号