NumPy多维数组按区间聚合的技巧

本教程详细介绍了如何利用numpy高效地对多维数组中的数据进行分块聚合。通过结合使用`reshape`和`mean`函数，可以自动化地将特定维度（如年龄）的数据按预设的固定区间（如5年）进行分组，并计算每个组内的统计量（如均值），从而极大地简化了复杂数据聚合任务的处理流程。

1. 问题背景与手动聚合的局限性

在数据分析中，我们经常会遇到需要对多维数组中的某个维度进行分组并计算统计量的情况。例如，在一个包含年龄和性别信息的多维NumPy数组中，我们可能需要将年龄数据按5年为单位进行聚合，并分别计算每个年龄段内不同性别的均值。

考虑以下一个NumPy数组 arr，其中第一列代表年龄相关数据，第二列代表性别相关数据。假设我们希望将年龄数据按5年增量进行聚合，并分别计算每个5年组内男女的均值：

import numpy as np

arr = np.array([
    [0, 1], [2, 3], [3, 4], [4, 5], [5, 6],
    [7, 8], [8, 9], [9, 10], [10, 11], [11, 12]
])
print("原始数组形状:", arr.shape)
# 原始数组:
# [[ 0  1]
#  [ 2  3]
#  [ 3  4]
#  [ 4  5]
#  [ 5  6]
#  [ 7  8]
#  [ 8  9]
#  [ 9 10]
#  [10 11]
#  [11 12]]

如果采用手动方式，我们需要逐一选取对应的数据段并计算均值，这不仅繁琐且容易出错，尤其当数据量庞大时，效率将非常低下：

# 手动计算示例
mean_1st_5_yrs_female = np.mean([0, 2, 3, 4, 5])
mean_1st_5_yrs_male = np.mean([1, 3, 4, 5, 6])
mean_2nd_5_yrs_female = np.mean([7, 8, 9, 10, 11])
mean_2nd_5_yrs_male = np.mean([8, 9, 10, 11, 12])

print(f"第一个5年组女性均值: {mean_1st_5_yrs_female}")
print(f"第一个5年组男性均值: {mean_1st_5_yrs_male}")
print(f"第二个5年组女性均值: {mean_2nd_5_yrs_female}")
print(f"第二个5年组男性均值: {mean_2nd_5_yrs_male}")

显然，我们需要一种自动化且高效的方法来处理这类聚合任务。

2. NumPy解决方案：reshape与mean的组合应用

NumPy提供了强大的数组操作功能，其中reshape和mean函数的巧妙组合可以完美解决上述聚合问题。核心思想是：首先通过reshape将原始数组重构为包含聚合区间维度的新数组，然后利用mean函数沿着正确的轴进行求平均。

2.1 核心代码

# 假设原始数组的第一维长度是5的倍数
aggregated_arr = arr.reshape(-1, 5, 2).mean(axis=1)
print("\n聚合后的数组:")
print(aggregated_arr)
print("聚合后数组形状:", aggregated_arr.shape)

输出结果：

聚合后的数组:
[[ 2.8  3.8]
 [ 9.  10. ]]
聚合后数组形状: (2, 2)

这个结果与我们手动计算的均值完全一致，并且以一个更简洁的数组形式呈现。

2.2 reshape的详细解析

arr.reshape(-1, 5, 2) 是实现聚合的关键一步。让我们逐个分析其参数：

• arr.shape 原始数组的形状是 (10, 2)。这意味着它有10行和2列。在这里，10可以理解为年龄点，2可以理解为性别。
• -1: 这是一个占位符，NumPy会根据数组的总元素数量和其余维度的大小自动计算此维度的大小。在本例中，原始数组有 10 * 2 = 20 个元素。当我们将数组重塑为 (-1, 5, 2) 时，NumPy会计算 -1 处的值为 20 / (5 * 2) = 2。因此，数组被重塑为 (2, 5, 2)。
• 5: 这个数字代表了我们希望聚合的区间大小。在本例中，我们希望每5个年龄点聚合一次。重塑后，这个维度将包含每个聚合组内的5个元素。
• 2: 这个数字代表了原始数组的第二个维度，即性别。我们希望在聚合时保持性别的区分。

经过 reshape 操作后，数组的逻辑结构变为 (2, 5, 2)：

• 第一个维度（大小为2）现在代表了聚合后的“时期”或“组”的数量（例如，两个5年期）。
• 第二个维度（大小为5）代表了每个时期内的原始数据点数量（例如，每个5年期内的5个年龄点）。
• 第三个维度（大小为2）仍然代表性别。

你可以想象这个重塑后的数组是一个三维的“立方体”，其中：

美间AI

美间AI：让设计更简单

45

查看详情

• aggregated_arr[0] 包含了第一个5年期的数据。
• aggregated_arr[0][0] 到 aggregated_arr[0][4] 包含了第一个5年期内的5个年龄点数据。
• aggregated_arr[0][x][0] 是第一个5年期内第x个年龄点的女性数据。
• aggregated_arr[0][x][1] 是第一个5年期内第x个年龄点的男性数据。

2.3 mean(axis=1)的详细解析

在数组被重塑为 (2, 5, 2) 之后，我们需要计算每个5年组内不同性别的均值。mean(axis=1) 中的 axis=1 至关重要。

• 在三维数组中，axis=0 通常指最外层维度（即聚合组的数量）。
• axis=1 指的是中间维度（即每个聚合组内的元素数量，本例中为5）。
• axis=2 指的是最内层维度（即性别）。

当我们指定 axis=1 进行求均值时，NumPy会在每个“时期”和每个“性别”内部，沿着5个年龄点的数据进行平均。具体来说：

• 对于第一个5年期的女性数据，它会沿着第二个维度（包含5个年龄点）计算均值。
• 对于第一个5年期的男性数据，它也会沿着第二个维度计算均值。
• 对于第二个5年期的女性数据，同样沿着第二个维度计算均值。
• 依此类推。

最终，mean(axis=1) 会将 (2, 5, 2) 形状的数组，沿着 axis=1 求平均，将该维度“压缩”掉，得到一个形状为 (2, 2) 的结果数组。其中，aggregated_arr[0, 0] 是第一个5年期的女性均值，aggregated_arr[0, 1] 是第一个5年期的男性均值，以此类推。

3. 注意事项与通用性

3.1 原始维度长度的整除性

这个方法的一个重要前提是，你希望聚合的维度（在本例中是原始数组的第一维，长度为10）必须是聚合区间大小（5）的整数倍。如果不是整数倍，reshape操作将失败，或者你可能需要先对数组进行填充或截断。

3.2 reshape维度顺序的重要性

理解 reshape 后新维度的含义是至关重要的。例如，如果我们将数组重塑为 arr.reshape(-1, 2, 5)，虽然从形状上看起来是可行的，但其内部数据组织方式将与我们的预期不符。

• arr.reshape(-1, 2, 5) 会将原始数据 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12] 按照新的形状 (2, 2, 5) 重新排列。
• 这意味着 arr[0] 将包含 [0, 1] [2, 3] [4, 5] [6, 7] [8, 9] 这10个元素，但它们在新的 (2, 2, 5) 结构中会被错误地分组。
• 例如，arr[0, 0] 可能会包含 [0, 1, 2, 3, 4]，这已经将不同性别的数据混杂在一起，并且不再是按5个年龄点分组。
• 因此，当对这样的数组求均值时，即使选择 axis=2，也无法得到我们期望的“每5年组内男女均值”，因为原始数据结构已被破坏。

总结： reshape的参数必须精确反映你希望数据如何被逻辑分组。(-1, 聚合区间大小, 其他维度) 这种模式适用于将第一个维度按块聚合，同时保持其他维度不变的情况。

3.3 泛化应用

这种 reshape(-1, group_size, other_dims).mean(axis=1) 的模式非常通用，可以应用于各种需要按固定区间聚合多维数组数据的场景：

• 时间序列数据：将每日数据按周或月聚合。
• 传感器数据：将连续读数按固定样本数聚合。
• 图像处理：对图像的特定区域进行像素值聚合。

4. 总结

通过巧妙运用NumPy的 reshape 和 mean 函数，我们可以高效且自动化地实现多维数组的分块聚合。关键在于正确理解 reshape 参数的含义，特别是 -1 的作用以及如何设置聚合区间大小和保留其他维度。同时，选择正确的 axis 进行求平均，确保聚合逻辑与数据结构匹配，是获得准确结果的保障。掌握这一技巧，将极大地提升NumPy数据处理的效率和代码的简洁性。

以上就是NumPy多维数组按区间聚合的技巧的详细内容，更多请关注php中文网其它相关文章！