Python中高效选取NaN附近有效数据的策略

本教程旨在解决在Python数据处理中，如何高效地从包含`NaN`值的序列中，为每个`NaN`点智能地选取其前后指定数量的有效数值。文章将深入探讨一种结合`pandas`和`numpy`库的巧妙方法，利用布尔掩码、前向填充（`ffill`）、滑动窗口视图（`sliding_window_view`）以及数据框连接（`join`）等功能，实现复杂条件下的精确数据筛选与对齐，尤其适用于处理大规模数据集时的性能需求。

1. 问题背景与挑战

在数据分析和预处理过程中，我们经常会遇到含有缺失值（NaN）的数值型数据序列。一个常见的需求是，当遇到一个NaN值时，我们需要从其周围提取固定数量的“有效”数值（即非NaN值）作为上下文信息。这个任务的复杂性在于以下几点：

• 动态窗口大小： 选取的有效数值数量是固定的，例如20个，但这些数值可能并非紧邻NaN值，因为中间可能夹杂其他NaN。
• 边缘情况处理： 当NaN值位于序列的开头或结尾附近时，其一侧可能没有足够的有效数值。此时，需要从另一侧补充选取，以达到总数要求。
• 效率： 对于大型数据集，使用循环遍历每个NaN并手动搜索有效邻居的方法效率低下，需要更优化的向量化解决方案。

传统的做法可能涉及筛选出NaN值，保留原始索引，然后进行复杂的索引映射和数据提取，这通常会导致代码冗长且难以维护。因此，寻找一种简洁、高效且健壮的方法至关重要。

2. 核心概念与工具

解决此类问题，pandas和numpy提供了强大的工具集，它们能够以向量化的方式处理数据，大大提高效率。本教程将主要利用以下核心功能：

立即学习“Python免费学习笔记（深入）”；

• pandas.Series.notna(): 用于生成一个布尔掩码，标识序列中哪些元素不是NaN。
• pandas.Series.ffill() (Forward Fill): 对序列中的NaN值进行前向填充，即用前一个有效值填充当前的NaN。这在处理索引对齐时非常有用，可以将NaN位置映射到最近的前一个有效值的索引。
• numpy.lib.stride_tricks.sliding_window_view: numpy的一个高级功能，可以高效地在数组上创建滑动窗口视图，而无需复制数据。这对于从连续的有效数据中提取固定大小的子序列非常有用。
• pandas.DataFrame.join(): 用于根据索引将两个DataFrame连接起来，实现数据的合并。
• pandas.DataFrame.mask(): 根据布尔条件替换DataFrame中的值。

3. 解决方案详解

我们将通过一个具体的示例来演示如何结合上述工具，实现NaN附近有效数据的智能选取。假设我们有一个包含NaN的pandas Series，目标是为每个NaN值，选取其前面B个和后面A个有效数值。

3.1 示例数据准备

首先，我们创建一个示例DataFrame：

import pandas as pd
import numpy as np
from numpy.lib.stride_tricks import sliding_window_view as swv

data = {
    'col': [np.nan, 0.0, 1.0, 2.0, np.nan, np.nan, 3.0, 4.0, 5.0, np.nan, 6.0, np.nan, 7.0, 8.0, 9.0, np.nan, 10.0]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

输出:

原始DataFrame:
     col
0    NaN
1    0.0
2    1.0
3    2.0
4    NaN
5    NaN
6    3.0
7    4.0
8    5.0
9    NaN
10   6.0
11   NaN
12   7.0
13   8.0
14   9.0
15   NaN
16  10.0

3.2 定义选取参数

我们设定在NaN之前选取B个有效值，之后选取A个有效值。

有道小P

有道小P，新一代AI全科学习助手，在学习中遇到任何问题都可以问我。

64

查看详情

B = 2  # 在NaN之前选取的非NaN值数量
A = 3  # 在NaN之后选取的非NaN值数量

3.3 提取列并处理索引

为了确保操作的简便性和准确性，我们将目标列提取为Series，并重置其索引为默认的整数范围索引。

# 提取目标列为Series，并确保为范围索引
s = df['col'].reset_index(drop=True)

3.4 识别有效数据与索引映射

这是解决方案中的一个关键步骤。我们首先创建一个布尔掩码m来标识所有非NaN的行。然后，我们利用ffill()将NaN位置的索引映射到它前面最近的有效值的索引。

# 识别非NaN行
m = s.notna()

# 掩盖NaN的索引，并进行前向填充。
# 这将使得NaN位置的索引被其前面最近的非NaN值的索引所填充。
idx = s.index.to_series().where(m).ffill()

例如，如果s[4]是NaN，而s[3]是有效值，那么idx[4]的值将变为3.0。

3.5 创建滑动窗口视图

接下来，我们只对原始Series中的有效数据（s[m]）创建滑动窗口视图。每个窗口的大小为A+B。sliding_window_view会生成一个多维数组，其中每一行代表一个窗口。

# 从非NaN值中创建滑动窗口视图
# 窗口大小为A+B，即总共选取的有效值数量
tmp = pd.DataFrame(swv(s[m], A + B))

为了将这些窗口与原始DataFrame中的NaN位置对齐，我们需要为tmp DataFrame生成一个合适的索引。这个索引的生成方式是：从idx中筛选出有效值对应的索引（idx[m]），然后进行B-1位的负向偏移。这样做的目的是将滑动窗口的起始点与它所代表的“中心”NaN值对齐。

# 为tmp DataFrame设置索引，使其与原始NaN位置对齐
# idx[m]是所有非NaN值的原始索引，shift(-B+1)是为了将窗口的起始点与NaN的"中心"对齐
# 比如B=2，shift(-1)意味着窗口的第一个元素对应原始NaN前一个有效值的索引
tmp.index = idx[m].shift(-B + 1)[:m.sum() - (A + B) + 1]

3.6 重建索引并连接

现在，tmp DataFrame包含了所有可能被选取的有效值窗口，其索引已经经过特殊处理。我们需要将其重新索引到我们之前生成的ffill后的idx上，然后将其索引设置为原始DataFrame的索引，最后连接回原始DataFrame。

# 使用ffill后的索引重新索引tmp，然后设置回原始DataFrame的索引
# 这样，原始DataFrame中每个NaN的行，都会根据其ffill后的索引，获取到tmp中对应的窗口数据
aligned_windows = tmp.reindex(idx).set_axis(df.index)

# 将结果连接回原始DataFrame
# 使用mask(m)确保只有原始col为NaN的行才显示新加入的窗口数据
out = df.join(aligned_windows.mask(m))

mask(m)这一步非常重要，它会将aligned_windows中对应原始col不为NaN的行（即m为True的行）的值设置为NaN。这样，最终输出中，只有原始col为NaN的行才会显示其选取的邻近有效值。

3.7 完整示例代码

import pandas as pd
import numpy as np
from numpy.lib.stride_tricks import sliding_window_view as swv

# 示例数据
data = {
    'col': [np.nan, 0.0, 1.0, 2.0, np.nan, np.nan, 3.0, 4.0, 5.0, np.nan, 6.0, np.nan, 7.0, 8.0, 9.0, np.nan, 10.0]
}
df = pd.DataFrame(data)

# 定义选取参数
B = 2  # 在NaN之前选取的非NaN值数量
A = 3  # 在NaN之后选取的非NaN值数量

# 1. 提取列为Series，并确保为范围索引
s = df['col'].reset_index(drop=True)

# 2. 识别非NaN行
m = s.notna()

# 3. 掩盖NaN的索引，并进行前向填充
# 这将使得NaN位置的索引被其前面最近的非NaN值的索引所填充
idx = s.index

以上就是Python中高效选取NaN附近有效数据的策略的详细内容，更多请关注php中文网其它相关文章！