使用NumPy高效聚合多维数组：按固定步长计算统计量

本文详细介绍了如何利用numpy的`reshape`和`mean`方法高效地对多维数组进行固定步长（如5年）的聚合统计。通过将原始数组重塑为包含聚合步长维度的新形状，然后沿着正确的轴计算均值，可以自动化并简化数据处理流程，避免手动计算的繁琐和易错性，特别适用于处理按时间、年龄或其他等间隔分组的数据。

1. 问题背景与传统方法局限

在数据分析中，我们经常会遇到需要将多维数组中的某一维度按照固定步长进行聚合统计的需求。例如，给定一个包含按年龄（每年）和性别（男女）分类的数据集，我们可能需要计算每5年年龄段内男女各自的平均值。

如果采用手动方式进行计算，例如：

import numpy as np

arr = np.array([[0,1], [2,3], [3,4], [4,5], [5,6], [7,8], [8,9], [9,10], [10,11], [11,12]])

# 手动计算前5年的女性平均值
mean_1st_5_yrs_female = np.mean([0,2,3,4,5])
# 手动计算前5年的男性平均值
mean_1st_5_yrs_male = np.mean([1,3,4,5,6])
# 手动计算后5年的女性平均值
mean_2nd_5_yrs_female = np.mean([7,8,9,10,11])
# 手动计算后5年的男性平均值
mean_2nd_5_yrs_male = np.mean([8,9,10,11,12])

# 组合结果
result_arr_manual = np.array([[mean_1st_5_yrs_female, mean_1st_5_yrs_male],[mean_2nd_5_yrs_female, mean_2nd_5_yrs_male]])
print("手动计算结果:\n", result_arr_manual)

这种方法在数据量较小或聚合步长固定且较少时尚可接受，但当数据量增大、维度增多或需要动态调整聚合步长时，手动计算将变得极其繁琐、耗时且容易出错。因此，我们需要一种自动化、高效的NumPy解决方案。

2. NumPy解决方案：reshape与mean的组合应用

NumPy提供了强大的数组操作功能，其中reshape和mean方法的组合可以优雅地解决这类聚合问题。核心思想是：首先利用reshape将原始数组重塑为一个新的多维数组，其中包含表示聚合步长的维度；然后，沿着正确的轴使用mean方法计算平均值。

2.1 核心代码示例

import numpy as np

# 原始数据数组，形状为 (10, 2)，表示10个年龄点，每个年龄点有2个性别的数据
# 例如：[[年龄0女性数据, 年龄0男性数据], [年龄1女性数据, 年龄1男性数据], ...]
arr = np.array([[0,1], [2,3], [3,4], [4,5], [5,6], [7,8], [8,9], [9,10], [10,11], [11,12]])

# 使用 reshape 和 mean 进行聚合
# 目标是将每5个年龄点的数据聚合成一组
aggregated_arr = arr.reshape(-1, 5, 2).mean(axis=1)

print("原始数组形状:", arr.shape)
print("重塑后的数组形状 (中间步骤):", arr.reshape(-1, 5, 2).shape)
print("聚合后的结果:\n", aggregated_arr)

输出结果：

原始数组形状: (10, 2)
重塑后的数组形状 (中间步骤): (2, 5, 2)
聚合后的结果:
 [[ 2.8  3.8]
 [ 9.  10. ]]

2.2 reshape 方法详解

arr.reshape(-1, 5, 2) 是实现聚合的关键一步。

• 原始数组 arr 的形状是 (10, 2)。 第一维（10）代表年龄点，第二维（2）代表性别。
• -1： 这是一个占位符，NumPy会自动计算此维度的大小。在这种情况下，原始数组的总元素数量是 10 * 2 = 20。如果我们将数组重塑为 (X, 5, 2)，那么 X * 5 * 2 必须等于 20，所以 X 会被自动计算为 20 / (5 * 2) = 2。因此，-1 实际上代表了聚合后的组数。
• 5： 这指定了我们希望在每个聚合组中包含的元素数量，对应于我们的“5年”增量。在重塑后的数组中，它将成为第二个维度。
• 2： 这保留了原始数组的第二个维度，即性别维度。在重塑后的数组中，它将成为第三个维度。

经过 reshape(-1, 5, 2) 操作后，原始的 (10, 2) 数组被重塑为 (2, 5, 2) 的三维数组。

美图设计室

5分钟在线高效完成平面设计，AI帮你做设计

29

查看详情

• 第一个维度（2）表示有2个5年增量组（例如，0-4年组和5-9年组）。
• 第二个维度（5）表示每个增量组内有5个年龄点。
• 第三个维度（2）表示每个年龄点有2个性别的数据。

可以将其想象为： [[[年龄0女性, 年龄0男性], [年龄1女性, 年龄1男性], ..., [年龄4女性, 年龄4男性]],[[年龄5女性, 年龄5男性], [年龄6女性, 年龄6男性], ..., [年龄9女性, 年龄9男性]]]

2.3 mean(axis=1) 方法详解

在重塑后的 (2, 5, 2) 数组上调用 mean(axis=1)：

• axis=1： 指定了我们希望沿着哪个轴进行平均。
  • axis=0 对应第一个维度（组数）。
  • axis=1 对应第二个维度（每个组内的5个年龄点）。
  • axis=2 对应第三个维度（性别）。

由于我们的目标是计算每个“5年增量组”内、针对每个“性别”的平均值，因此我们需要沿着代表“5个年龄点”的维度进行平均，即 axis=1。这样，对于每个5年组和每个性别，我们都能得到一个平均值。

例如，对于第一个5年组（索引0），它包含 [[0,1], [2,3], [3,4], [4,5], [5,6]]。

• 女性数据是 [0, 2, 3, 4, 5]，其平均值为 (0+2+3+4+5)/5 = 2.8。
• 男性数据是 [1, 3, 4, 5, 6]，其平均值为 (1+3+4+5+6)/5 = 3.8。

这些平均值将构成结果数组的第一行 [2.8, 3.8]。同样地，对于第二个5年组，将计算得到 [9.0, 10.0]。

3. 注意事项与最佳实践

• 维度匹配性： 使用 reshape 进行聚合时，用于聚合的维度（在本例中是年龄维度）的长度必须是聚合步长（本例中是5）的整数倍。如果不是整数倍，reshape 操作会失败，或者导致数据截断/不完整聚合（如果使用切片等预处理）。在实际应用中，如果数据长度不匹配，需要先进行填充、截断或更复杂的处理。
• 维度顺序的重要性： reshape 的参数顺序至关重要。例如，如果尝试 arr.reshape(-1, 2, 5)，虽然它也能将 (10, 2) 重塑为 (10, 2) 形状的数组，但其内部数据排列将与我们期望的聚合方式不符。原始数据是按行（年龄）存储的，reshape 默认会按行读取数据并填充新形状。reshape(-1, 5, 2) 确保了每5个年龄点的数据被连续地组织在一个子数组中，从而使得 mean(axis=1) 能够正确地在这些连续的5个年龄点上进行平均。如果维度顺序错误，聚合结果将失去意义。
• 灵活性： 这种方法非常灵活，可以轻松调整聚合步长（例如，将 5 改为 10），或者应用于具有更多维度的数组，只需相应地调整 reshape 的参数和 mean 的 axis 参数即可。

4. 总结

通过巧妙地结合使用NumPy的 reshape 和 mean 方法，我们可以高效、自动化地对多维数组进行固定步长的数据聚合。这种方法不仅代码简洁，而且执行效率高，是处理大规模科学计算和数据分析任务的强大工具。理解 reshape 如何改变数组的视图以及 axis 参数在统计函数中的作用，是掌握NumPy高级数据处理的关键。

以上就是使用NumPy高效聚合多维数组：按固定步长计算统计量的详细内容，更多请关注php中文网其它相关文章！