python pandas如何处理时间序列数据_pandas时间序列数据处理技巧汇总-Python教程-PHP中文网

python pandas如何处理时间序列数据_pandas时间序列数据处理技巧汇总

Pandas在处理时间序列数据方面简直是Python生态系统中的瑞士军刀。它的核心能力在于将日期和时间数据转化为易于操作的

Timestamp

登录后复制

对象，并通过

DatetimeIndex

登录后复制

提供强大的索引和对齐功能。无论是数据清洗、频率转换、滞后分析还是滚动计算，Pandas都提供了一套直观且高效的API，让复杂的时间序列操作变得轻而易举。可以说，掌握了Pandas的时间序列处理技巧，你就掌握了理解和分析时序数据的关键。

解决方案

在Pandas中处理时间序列数据，我们通常会经历数据导入与转换、索引设置、频率调整、特征工程以及缺失值处理等几个关键步骤。

首先，确保你的日期时间列被正确解析为Pandas的

datetime64[ns]

登录后复制

类型。这通常通过

pd.to_datetime()

登录后复制

函数完成，它可以将各种格式的字符串、整数甚至Unix时间戳转换为统一的

Timestamp

登录后复制

对象。如果数据是从CSV文件读取的，

pd.read_csv()

登录后复制

的

parse_dates

登录后复制

参数能直接在加载时完成解析，并且结合

index_col

登录后复制

参数，直接将日期列设为DataFrame的索引，形成一个强大的

DatetimeIndex

登录后复制

。

一旦有了

DatetimeIndex

登录后复制

，你就可以开始享受Pandas带来的便利了。你可以通过

.dt

登录后复制

访问器轻松提取年、月、日、周几、小时等时间组成部分，这对于创建时间相关的特征非常有用。例如，

df.index.dt.dayofweek

登录后复制

就能快速获取每一天的星期几。

立即学习“Python免费学习笔记（深入）”；

处理时间序列数据，一个常见的需求就是改变数据的频率，比如将日销售额汇总成周销售额或月销售额。这时，

resample()

登录后复制

方法就派上用场了。它允许你将数据重新采样到更高的频率（如从月到日，可能需要填充）或更低的频率（如从日到月，需要聚合）。结合

.mean()

登录后复制

.sum()

登录后复制

.first()

登录后复制

.last()

登录后复制

.ohlc()

登录后复制

等聚合函数，

resample()

登录后复制

能帮你完成各种频率转换任务。

对于需要分析时间依赖性的场景，比如计算前一天的销售额或移动平均值，

shift()

登录后复制

和

rolling()

登录后复制

是你的好帮手。

shift()

登录后复制

可以将数据向前或向后移动指定的周期，非常适合创建滞后特征。而

rolling()

登录后复制

则用于创建滑动窗口，比如计算过去7天的平均值，这在平滑数据、识别趋势或异常值时非常有效。你可以指定窗口大小、最小观测值数量，并选择各种聚合函数。

最后，时间序列数据常常伴随着缺失值或不规则的频率。

fillna()

登录后复制

结合

method='ffill'

登录后复制

（前向填充）或

bfill

登录后复制

（后向填充）是处理缺失值的常用手段。而

interpolate()

登录后复制

则提供了更复杂的插值方法，如线性插值，来填充缺失的数据点。对于不规则频率的数据，你可以使用

asfreq()

登录后复制

将其转换为固定频率，这可能会引入

NaN

登录后复制

，然后结合上述缺失值处理方法进行填充。

如何高效地将字符串日期转换为Pandas时间戳并设为索引？

我经常看到有人在处理日期字符串时，先用列表推导式或者循环去逐个转换，那效率真是让人头疼，尤其当数据量一大，等待时间就成了瓶颈。其实，Pandas提供了更“Pythonic”且高效的方法来处理这个问题。

最直接且推荐的方式是使用

pd.to_datetime()

登录后复制

函数。这个函数非常智能，它能识别多种日期时间格式，并将其统一转换为

datetime64[ns]

登录后复制

类型。如果你知道日期字符串的精确格式，通过

format

登录后复制

参数指定，可以显著提升转换速度。比如，

pd.to_datetime(df['date_col'], format='%Y-%m-%d %H:%M:%S')

登录后复制

。但即使不知道具体格式，Pandas也能很好地猜测，只是速度会稍慢一点。一个非常实用的技巧是设置

infer_datetime_format=True

登录后复制

，当日期格式一致时，Pandas会尝试推断格式，这通常比默认的通用解析更快。如果遇到无法解析的日期，

errors='coerce'

登录后复制

参数能将它们转换为

NaT

登录后复制

（Not a Time），避免程序崩溃。

import pandas as pd

# 示例数据
data = {'value': [10, 20, 15, 25, 30],
        'date_str': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04', '2023-01-05']}
df = pd.DataFrame(data)

# 方法1: 使用pd.to_datetime转换列，然后设为索引
df['date'] = pd.to_datetime(df['date_str'])
df = df.set_index('date')
print("方法1结果:\n", df)

# 方法2: 直接在read_csv时解析并设为索引
# 假设有一个csv文件 'data.csv' 内容如下:
# value,date_str
# 10,2023-01-01
# 20,2023-01-02
# ...
# df_from_csv = pd.read_csv('data.csv', parse_dates=['date_str'], index_col='date_str')
# print("从CSV读取并解析结果:\n", df_from_csv)

登录后复制

对于从文件（如CSV）加载数据，

pd.read_csv()

登录后复制

的

parse_dates

登录后复制

和

index_col

登录后复制

参数组合使用是最高效的。

parse_dates

登录后复制

可以是一个列名列表，Pandas会在加载时直接将这些列解析为日期时间类型。如果其中一列同时被指定为

index_col

登录后复制

，那么它就会直接成为

DatetimeIndex

登录后复制

。这种方式避免了数据加载后再进行一次全列转换的开销，尤其是在处理大型数据集时，性能优势非常明显。在我看来，这是处理时间序列数据时，最应该养成的良好习惯之一。

Pandas时间序列重采样有哪些实用场景和高级技巧？

刚开始用

resample

登录后复制

时，

label

登录后复制

和

closed

登录后复制

这两个参数总是让我有点迷糊，但理解了它们的含义后，就能精准控制时间段的归属了。

resample()

登录后复制

在时间序列分析中简直是万金油，它的实用场景非常广泛。

实用场景：

数据聚合与降维： 这是最常见的用途。比如，你可能有一个每分钟记录的传感器数据，但你只关心每小时或每天的平均值、最大值或总和。
```
df.resample('H').mean()
```
登录后复制
或
```
df.resample('D').sum()
```
登录后复制
就能轻松实现。
填充时间间隔： 有时数据不是连续的，比如只有工作日的销售数据。通过重采样到日频率并填充，可以清晰地看到缺失的日期，为后续的插值或分析做准备。
节假日或特定周期分析： 你可以将数据重采样到周频率（'W'），然后分析每周的数据模式，或者结合
```
offset
```
登录后复制
参数，让每周从周日或周一开始计算。
技术指标计算： 在金融领域，经常需要计算股票的周K线、月K线，或者日线的开高低收（OHLC）数据。
```
df.resample('D').ohlc()
```
登录后复制
就能直接生成这些指标。

高级技巧：

自定义聚合函数：
```
resample()
```
登录后复制
不仅限于内置的
```
mean()
```
登录后复制
,
```
sum()
```
登录后复制
等，你还可以使用
```
apply()
```
登录后复制
来应用任何自定义函数。例如，计算每个月的方差：
```
df.resample('M').apply(lambda x: x.std())
```
登录后复制
。

序列猴子开放平台
具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情
```
origin
```
登录后复制
参数控制对齐： 默认情况下，
```
resample
```
登录后复制
会从数据中的第一个时间点或Pandas内部的“纪元”开始计算时间段。但如果你想让时间段从特定的日期或时间开始，例如，让所有周一都作为周的开始，或者让月度汇总从每月的15号开始，
```
origin
```
登录后复制
参数就非常有用。比如，
```
df.resample('W-MON', origin='start_day').mean()
```
登录后复制
可以让每周从周一开始。
```
label
```
登录后复制
和
closed
登录后复制
参数：这两个参数决定了重采样后时间段的标签（是时间段的开始还是结束）以及时间段的包含边界（左闭右开还是左开右闭）。
- ```
label='left'
```
  登录后复制
  （默认）或
```
'right'
```
  登录后复制
  ：决定了重采样后时间戳是区间的左边界还是右边界。
- ```
closed='left'
```
  登录后复制
  （默认）或
```
'right'
```
  登录后复制
  ：决定了区间是左闭右开
```
[start, end)
```
  登录后复制
  还是左开右闭
```
(start, end]
```
  登录后复制
  。理解这两个参数，对于确保数据在不同时间段之间正确划分至关重要。
```
import pandas as pd
import numpy as np
```
  登录后复制
示例数据：每小时数据

idx = pd.date_range('2023-01-01 00:00', periods=24, freq='H') data = np.random.rand(24) df = pd.DataFrame({'value': data}, index=idx)

print("原始数据（部分）:\n", df.head())

场景1: 每日平均值

daily_avg = df.resample('D').mean() print("\n每日平均值:\n", daily_avg)

场景2: 每6小时的聚合，标签为区间的右边界，区间为左开右闭

resampled_data = df.resample('6H', label='right', closed='right').sum() print("\n每6小时聚合 (label='right', closed='right'):\n", resampled_data)

场景3: 自定义聚合 - 计算每4小时的范围 (max - min)

custom_resample = df.resample('4H').apply(lambda x: x.max() - x.min()) print("\n每4小时的范围 (max - min):\n", custom_resample)
```
这些高级技巧能够让你更精细地控制重采样行为，满足各种复杂的分析需求。
```
登录后复制

如何在Pandas中处理时间序列的缺失值和不规则频率数据？

处理真实世界的时间序列数据，缺失值和不规则频率几乎是家常便饭。刚接触时，我常常纠结于如何选择填充方法，后来发现没有银弹，得看具体业务场景。

处理缺失值：

前向填充 (

ffill

登录后复制

) 和后向填充 (
bfill
登录后复制
)：这是最简单直观的方法。

df.fillna(method='ffill')

登录后复制

会将缺失值用它前面的有效值填充。反之，

bfill

登录后复制

则用后面的有效值填充。这在数据变化缓慢，或者缺失值代表“保持上次状态”的场景下非常适用，比如传感器读数在短时间内的缺失。

import pandas as pd
import numpy as np

# 示例数据：有缺失值
idx = pd.to_datetime(['2023-01-01', '2023-01-02', '2023-01-04', '2023-01-05'])
data = [10, np.nan, 15, 20]
df_missing = pd.DataFrame({'value': data}, index=idx)
print("原始缺失数据:\n", df_missing)

# 前向填充
df_ffill = df_missing.fillna(method='ffill')
print("\n前向填充:\n", df_ffill)

# 后向填充
df_bfill = df_missing.fillna(method='bfill')
print("\n后向填充:\n", df_bfill)

登录后复制

插值 (
```
interpolate
```
登录后复制
)：当数据趋势更平滑或有线性关系时，插值是更好的选择。
```
df.interpolate()
```
登录后复制
提供了多种插值方法，如
```
'linear'
```
登录后复制
（线性插值）、
```
'time'
```
登录后复制
（基于时间戳进行线性插值，对不规则时间间隔更准确）、
```
'polynomial'
```
登录后复制
（多项式插值）等。选择哪种方法取决于你对数据生成过程的假设。
```
# 线性插值
df_interpolate_linear = df_missing.interpolate(method='linear')
print("\n线性插值:\n", df_interpolate_linear)

# 时间插值（需要DatetimeIndex）
df_interpolate_time = df_missing.interpolate(method='time')
print("\n时间插值:\n", df_interpolate_time)
```
登录后复制
重采样结合填充： 对于那些在某个频率下缺失，但在更高频率下可能存在的数据，或者需要统一频率的场景，可以先
```
resample()
```
登录后复制
到目标频率（这可能会引入更多
```
NaN
```
登录后复制
），然后进行
```
fillna()
```
登录后复制
或
```
interpolate()
```
登录后复制
。

处理不规则频率数据：

不规则频率数据意味着时间戳之间没有固定的间隔。这在日志数据、事件数据或某些传感器数据中很常见。

asfreq()

登录后复制

：如果你想将不规则数据转换为固定频率，

asfreq()

登录后复制

是你的首选。它会根据指定频率生成新的时间戳，并尝试匹配现有数据。那些没有匹配到的时间点会默认填充为

NaN

登录后复制

。

# 示例数据：不规则频率
idx_irregular = pd.to_datetime(['2023-01-01 09:00', '2023-01-01 10:15', '2023-01-01 12:30'])
data_irregular = [100, 110, 120]
df_irregular = pd.DataFrame({'value': data_irregular}, index=idx_irregular)
print("原始不规则频率数据:\n", df_irregular)

# 转换为每小时频率，缺失值用NaN填充
df_asfreq_H = df_irregular.asfreq('H')
print("\n转换为每小时频率 (asfreq):\n", df_asfreq_H)

登录后复制

reindex()

登录后复制

结合
pd.date_range()
登录后复制
：这种方法更灵活，你可以先用

pd.date_range()

登录后复制

生成一个你想要的目标时间索引，然后用

reindex()

登录后复制

将原始数据对齐到这个新索引上。同样，不匹配的日期会生成

NaN

登录后复制

。

# 生成目标时间范围
target_index = pd.date_range(start='2023-01-01 09:00', end='2023-01-01 13:00', freq='30min')

# 使用reindex对齐
df_reindexed = df_irregular.reindex(target_index)
print("\n使用reindex对齐到30分钟频率:\n", df_reindexed)

# 对齐后可以再进行插值
df_reindexed_interpolated = df_reindexed.interpolate(method='time')
print("\n对齐后并插值:\n", df_reindexed_interpolated)

登录后复制