在Pandas DataFrame中高效计算距离矩阵

在数据分析和科学计算中，我们经常需要计算两个数据集之间所有元素的两两关系，例如距离、差值或任何自定义的二元运算。当数据存储在pandas series中时，如何高效地构建一个包含这些两两运算结果的dataframe是一个常见需求。本教程将深入探讨两种主要方法：基于numpy广播的矢量化方案和基于pandas apply的方案，并分析它们的优缺点。

1. 问题定义与初始数据

假设我们有两个Pandas Series a 和 b，我们希望计算 a 中每个元素与 b 中每个元素的差值，并将结果组织成一个DataFrame，其中行索引来自 b，列索引来自 a。

import pandas as pd
import numpy as np

# 定义两个Pandas Series
a = pd.Series([1, 2, 3], ['a', 'b', 'c'])
b = pd.Series([4, 5, 6, 7], ['k', 'l', 'm', 'n'])

# 示例自定义函数（这里是简单的差值）
def custom_operation(x, y):
    """计算x和y的差值，可以替换为任意二元操作"""
    return x - y

期望的输出是一个DataFrame，其结构如下：

   a  b  c
k -3 -2 -1
l -4 -3 -2
m -5 -4 -3
n -6 -5 -4

2. 高效方案：利用NumPy广播

NumPy的广播（Broadcasting）机制是处理多维数组运算的核心特性，它允许不同形状的数组在特定条件下进行元素级运算。对于Series之间的两两运算，我们可以将Series转换为NumPy数组，然后利用广播机制高效地完成计算。

核心思想： 为了实现 a 中每个元素与 b 中每个元素的运算，我们需要将 a 视为一个行向量，将 b 视为一个列向量。NumPy的广播规则会自动扩展这两个数组，使其形状兼容，从而执行元素级的减法。

• 将 a 转换为行向量：a.to_numpy()[np.newaxis, :] 或 a.to_numpy().reshape(1, -1)
• 将 b 转换为列向量：b.to_numpy()[:, np.newaxis] 或 b.to_numpy().reshape(-1, 1)

当一个行向量减去一个列向量时，NumPy会自动将行向量在垂直方向上复制，将列向量在水平方向上复制，使它们形状匹配后再进行元素级运算。

示例代码：

# 使用to_numpy()将Series转换为NumPy数组
# b.to_numpy()[:, None] 将b转换为列向量
# a.to_numpy() 将a视为行向量（NumPy会自动广播）
result_array = a.to_numpy() - b.to_numpy()[:, None]

# 将结果数组转换回DataFrame，并设置正确的索引和列名
df_broadcast = pd.DataFrame(result_array, columns=a.index, index=b.index)
print("使用NumPy广播计算的距离矩阵：")
print(df_broadcast)

优点：

• 极高的性能： NumPy的底层实现是C语言，运算经过高度优化，尤其擅长处理大规模数组的矢量化操作。
• 内存效率： 广播操作通常不会创建不必要的中间数组副本。
• 代码简洁： 一行代码即可完成复杂的两两运算。

3. Pandas原生方案：使用 Series.apply

Pandas的 apply 方法是一个非常灵活的工具，它可以对Series或DataFrame的每一行/列应用一个函数。虽然它也能实现两两运算，但其内部通常涉及Python级别的循环，因此在性能上远不如NumPy的矢量化操作。

乾坤圈新媒体矩阵管家

新媒体账号、门店矩阵智能管理系统

17

查看详情

核心思想： 我们可以遍历 b Series中的每个元素。对于 b 中的每个元素 x，我们让 a Series与 x 进行元素级运算。由于Pandas Series支持与标量进行元素级运算，a - x 会返回一个新的Series。apply 方法会将这些结果Series组合成一个DataFrame。

示例代码：

# 使用b的apply方法，对b的每个元素x，执行a - x的操作
df_apply = b.apply(lambda x: a - x)
print("\n使用Pandas Series.apply计算的距离矩阵：")
print(df_apply)

# 如果有自定义函数custom_operation，也可以这样使用
df_apply_custom = b.apply(lambda x: custom_operation(a, x))
print("\n使用Pandas Series.apply和自定义函数计算的距离矩阵：")
print(df_apply_custom)

优点：

• 直观易懂： 对于不熟悉NumPy广播的用户来说，apply 的逻辑可能更易于理解。
• 灵活性： 适用于更复杂的、难以直接矢量化的自定义函数。

缺点：

• 性能瓶颈： apply 方法在内部通常是Python级别的循环，对于大型数据集，性能会显著低于NumPy的矢量化方法。

4. 性能对比与最佳实践

从性能角度来看，NumPy的广播方案是绝对的首选。对于简单的元素级运算（如加减乘除），NumPy能够利用底层的优化，实现接近C语言的执行效率。而 Series.apply 虽然提供了便利，但其性能开销会随着数据量的增加而迅速上升。

最佳实践：

1. 优先考虑矢量化操作： 在能够使用NumPy广播或Pandas内置矢量化方法（如Series之间的直接运算）时，始终优先选择它们。它们是处理大规模数据的最有效方式。
2. 理解 apply 的适用场景： apply 方法并非一无是处。当你的操作逻辑非常复杂，难以用NumPy广播或Pandas内置函数表达时，apply 提供了一个方便的“逃生舱口”。例如，如果 custom_operation 内部涉及复杂的条件判断、字符串处理或外部API调用，那么 apply 可能是更合适的选择，尽管你需要权衡性能。
3. 利用 .to_numpy()： 在Pandas和NumPy之间切换时，使用 .to_numpy() 方法是获取底层NumPy数组的推荐方式，它比 .values 更能保证返回一个NumPy数组，并且在某些情况下可以避免不必要的拷贝。

总结

计算Pandas Series之间的距离矩阵或执行两两元素操作时，NumPy的广播机制是实现高性能、高效率的关键。通过将Series转换为NumPy数组并利用广播特性，我们可以避免Python循环带来的性能瓶颈。尽管Pandas的 apply 方法提供了灵活性，但其性能劣势使其更适用于那些难以矢量化的复杂场景。在实际应用中，始终推荐优先采用矢量化方案，以确保代码的执行效率和可扩展性。

以上就是在Pandas DataFrame中高效计算距离矩阵的详细内容，更多请关注php中文网其它相关文章！