Pandas DataFrame向量化查找：高效获取指定行数据

1. 问题背景与传统方法

在数据分析和处理中，我们经常需要从pandas dataframe中根据特定的行索引（或标签）来获取数据。当需要获取的数据行数量较少时，使用简单的循环迭代可能尚可接受。然而，当需要查找的索引数量庞大时，基于python for 循环的逐行查找方法会变得极其低效，严重影响程序性能。

考虑以下场景：我们有一个DataFrame df，其索引包含一系列数字，并且我们希望根据一个NumPy数组或Python列表 ex_arr 中指定的索引值，获取 HHt 列中对应的数据。

示例DataFrame df:

待查找的索引列表 ex_arr:

import pandas as pd
import numpy as np

# 示例DataFrame
data = {'HHt': [1, 2, 3, 4, 5, 6, 7, 8]}
index = [2643, 2644, 2645, 2646, 2647, 2648, 2649, 2650]
df = pd.DataFrame(data, index=index)

# 待查找的索引数组
ex_arr = [2643, 2644, 2647]

如果采用传统的 for 循环方法，代码可能如下所示：

# 低效的循环方法
result_loop = []
for i in ex_arr:
    h_p = df.at[i, "HHt"] # 或 df.loc[i, "HHt"]
    result_loop.append(h_p)
print(f"循环结果: {result_loop}")
# 预期结果: [1, 2, 5]

尽管 df.at 和 df.loc 在单点查询时效率很高，但将它们置于循环内部进行多次调用，会引入大量的Python解释器开销，导致性能瓶颈。

2. 使用 DataFrame.loc 进行向量化查找

Pandas 提供了强大的向量化操作，能够一次性处理整个数组或Series的数据，从而显著提高效率。对于根据索引进行多行查找的需求，DataFrame.loc 是理想的选择。loc 属性主要用于通过标签（包括行索引标签和列标签）进行数据选择。

当 loc 的行选择器参数是一个列表或数组时，Pandas 会自动执行向量化操作，返回一个包含所有匹配行的新DataFrame或Series。

基本语法：

df.loc[行标签列表, 列标签]

应用到我们的例子：

要获取 ex_arr 中所有索引对应的 HHt 列值，我们只需将 ex_arr 直接传递给 loc 的行选择器：

# 向量化查找
vectorized_result_series = df.loc[ex_arr, 'HHt']
print(f"向量化查找结果 (Series):\n{vectorized_result_series}")

输出：

向量化查找结果 (Series):
2643    1
2644    2
2647    5
Name: HHt, dtype: int64

可以看到，df.loc[ex_arr, 'HHt'] 返回了一个Pandas Series，其索引是 ex_arr 中的值，对应的值是 HHt 列中查找的结果。

3. 将结果转换为列表或NumPy数组

在许多情况下，我们可能需要将查找结果进一步处理为标准的Python列表或NumPy数组，而不是Pandas Series。Pandas Series对象提供了便捷的方法来完成这一转换：to_list() 和 to_numpy()。

3.1 转换为Python列表 (.to_list())

如果你需要一个标准的Python列表来进一步处理数据，可以使用 to_list() 方法。

# 将结果转换为列表
result_list = df.loc[ex_arr, 'HHt'].to_list()
print(f"转换为列表: {result_list}")
# 预期结果: [1, 2, 5]

3.2 转换为NumPy数组 (.to_numpy())

如果你计划对结果进行数值计算，或者需要与NumPy库的其他函数集成，将结果转换为NumPy数组通常是更高效的选择，可以使用 to_numpy() 方法。

# 将结果转换为NumPy数组
result_numpy = df.loc[ex_arr, 'HHt'].to_numpy()
print(f"转换为NumPy数组: {result_numpy}")
# 预期结果: [1 2 5]

4. 优势与注意事项

优势：

• 性能提升： 向量化操作在底层由C/C++实现，避免了Python循环的开销，对于大规模数据集，性能提升显著。
• 代码简洁性： 一行代码即可完成复杂的查找任务，提高了代码的可读性和维护性。
• 内存效率： Pandas内部优化了数据存储和操作，通常比手动管理Python列表更高效。

注意事项：

• 索引类型匹配： DataFrame.loc 是基于标签的查找。确保你提供的 ex_arr 中的索引值与DataFrame的实际索引类型和值完全匹配。如果索引是字符串，ex_arr 也应该是字符串列表；如果索引是整数，ex_arr 也应是整数列表。
• 缺失索引处理： 如果 ex_arr 中包含DataFrame中不存在的索引值，df.loc 会在默认情况下抛出 KeyError。如果你希望忽略这些缺失的索引并只返回存在的索引对应的值，可以先使用 df.index.intersection(ex_arr) 来获取DataFrame中实际存在的索引子集，然后再进行查找。

  # 处理缺失索引的示例
  ex_arr_with_missing = [2643, 9999, 2647] # 9999 不存在
  # 过滤掉不存在的索引
  existing_indices = df.index.intersection(ex_arr_with_missing)
  filtered_result = df.loc[existing_indices, 'HHt'].to_list()
  print(f"处理缺失索引后的结果: {filtered_result}")
  # 预期结果: [1, 5]

  登录后复制
• 多列查找： 如果需要查找多列数据，可以将列标签也作为列表传递给 loc。例如：df.loc[ex_arr, ['HHt', 'AnotherColumn']]。

5. 总结

通过本教程，我们深入探讨了如何在Pandas DataFrame中利用 DataFrame.loc 方法进行高效的向量化数据查找。与传统的循环方法相比，向量化操作不仅极大地提升了性能，还使得代码更加简洁和易读。掌握 loc 的使用，并灵活运用 to_list() 和 to_numpy() 等转换方法，是Pandas数据处理中不可或缺的技能。在处理大规模数据集时，始终优先考虑使用Pandas提供的向量化功能，以实现最佳的性能和开发效率。

以上就是Pandas DataFrame向量化查找：高效获取指定行数据的详细内容，更多请关注php中文网其它相关文章！