Pandas DataFrame高效向量化操作：根据列条件提取关联数据列表

本教程详细探讨了在pandas dataframe中如何高效地执行向量化操作，特别是根据多列的特定条件筛选并提取关联数据列表。文章通过实例代码展示了如何利用布尔索引和列表推导式，从dataframe中提取满足条件的患者id列表，从而避免低效的循环，显著提升数据处理性能和代码可读性。

引言：Pandas向量化操作的重要性

在数据分析和处理中，效率是关键。Pandas库以其高性能的数据结构和丰富的操作方法，成为Python数据科学领域的核心工具。其中，向量化操作是Pandas实现高性能的基石。它允许我们对整个Series或DataFrame执行操作，而无需显式地编写Python循环，从而利用底层C语言的优化，显著提升计算速度并简化代码。理解并熟练运用向量化操作，对于编写高效、可维护的Pandas代码至关重要。

数据准备与基础向量化示例

首先，我们创建一个示例DataFrame，它包含患者ID和多列测量数据（S1到S5）。

import pandas as pd

columns = ['S1', 'S2', 'S3', 'S4', 'S5']

df = pd.DataFrame({'Patient':['p1', 'p2', 'p3', 'p4', 'p5', 'p6', 'p7', 'p8', 'p9', 'p10'],
                   'S1':[0.7, 0.3, 0.5, 0.8, 0.9, 0.1, 0.9, 0.2, 0.6, 0.3],
                   'S2':[0.2, 0.3, 0.5, 0.4, 0.9, 0.1, 0.9, 0.7, 0.4, 0.3],
                   'S3':[0.6, 0.3, 0.5, 0.8, 0.9, 0.8, 0.9, 0.3, 0.6, 0.3],
                   'S4':[0.2, 0.3, 0.7, 0.8, 0.9, 0.1, 0.9, 0.7, 0.3, 0.3 ],
                   'S5':[0.9, 0.8, 0.5, 0.8, 0.9, 0.7, 0.2, 0.7, 0.6, 0.3 ]})

print("原始DataFrame:")
print(df)

基于这个DataFrame，我们可以演示一些基础的向量化操作：

1. 统计每列中值大于等于0.5的单元格数量： 我们可以利用 .ge() 方法（greater or equal）进行逐元素比较，生成一个布尔DataFrame，然后对每列求和。

   arr1 = df[columns].ge(0.5).sum().to_numpy()
   print("\n每列中值 >= 0.5 的单元格数量:")
   print(arr1)
   # 预期输出: [6 4 7 5 7]

   登录后复制

2. 计算每列中值大于等于0.5的单元格值的总和： 这里我们首先通过布尔索引筛选出满足条件的单元格，然后对筛选后的DataFrame进行列求和。

   arr2 = df[df[columns] >= 0.5][columns].sum().to_numpy()
   print("\n每列中值 >= 0.5 的单元格值总和:")
   print(arr2)
   # 预期输出: [5.4 3.  5.8 4.  5.4]

   登录后复制

这些例子清晰地展示了Pandas如何通过链式调用和布尔索引实现高效的列级操作，而无需显式循环。

核心问题：根据列条件提取关联数据列表

现在，我们面临一个更具体的任务：对于DataFrame中的每一列（S1到S5），我们希望筛选出那些值大于等于0.5的行，并提取这些行的Patient ID，最终得到一个包含多个患者ID列表的集合。例如，对于S1列，我们想要得到所有S1值 >= 0.5 的患者ID列表。

期望的输出格式是一个列表的列表，例如： [['p1', 'p3', 'p4', 'p5', 'p7', 'p9'], ['p3', 'p5', 'p7', 'p8'], ...]

解决方案：结合布尔索引与列表推导式

为了实现上述目标，我们可以巧妙地结合Pandas的布尔索引和Python的列表推导式。这种方法既保持了代码的简洁性，又充分利用了Pandas的向量化能力。

解决方案的核心思想：

1. 逐列迭代： 使用列表推导式遍历目标列名（columns列表）。
2. 单列条件筛选： 在每次迭代中，针对当前列应用条件（例如 df[col] >= 0.5），这将生成一个布尔Series。
3. 布尔索引提取： 利用这个布尔Series作为索引，从 df.Patient 列中筛选出对应的患者ID。
4. 转换为列表： 将筛选出的患者ID Series转换为Python列表。

下面是具体的实现代码：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

# 根据每列条件提取患者ID列表
patient_lists_by_column = [df.Patient[df[col] >= 0.5].to_list() for col in columns]

print("\n根据每列条件筛选出的患者ID列表:")
print(patient_lists_by_column)

代码解析：

• for col in columns: 这是一个列表推导式的外层循环，它会依次取出 columns 列表中的每一个列名（'S1', 'S2', ...）。
• df[col] >= 0.5: 在每次循环中，这部分代码会选择当前列 col，并对其中的所有值执行“大于等于0.5”的比较。Pandas会以向量化的方式执行此操作，返回一个布尔Series，其索引与DataFrame的索引一致，值为True或False。
• df.Patient[...]: 这是Pandas的布尔索引机制。我们将上一步生成的布尔Series放在 df.Patient 后面的方括号中。Pandas会根据布尔Series中为True的位置，从 df.Patient 列中选择对应的行。
• .to_list(): 最后，将通过布尔索引筛选出的 Patient Series转换为一个标准的Python列表。

运行结果示例：

[['p1', 'p3', 'p4', 'p5', 'p7', 'p9'],
 ['p3', 'p5', 'p7', 'p8'],
 ['p1', 'p3', 'p4', 'p5', 'p6', 'p7', 'p9'],
 ['p3', 'p4', 'p5', 'p7', 'p8'],
 ['p1', 'p2', 'p3', 'p4', 'p5', 'p6', 'p8', 'p9']]

请注意，原始数据中的 'p8' 在S1列中为0.2，S2为0.7，S3为0.3，S4为0.7，S5为0.7。在输出结果中，如果S列值 >= 0.5，则 'p8' 会被包含。例如，S2, S4, S5列的患者列表中包含'p8'。原始数据中有一个'p8'重复，这里统一处理为'p8'。

性能与最佳实践

此解决方案的优势在于：

1. 高效性： 内部的 df[col] >= 0.5 和 df.Patient[...] 操作都是Pandas的向量化操作，它们在底层由C语言实现，效率远高于显式Python循环逐行检查。
2. 简洁性： 列表推导式使得代码非常紧凑和易读，清晰地表达了“为每一列生成一个列表”的意图。
3. 通用性： 这种模式可以轻松应用于其他列条件和需要提取不同关联数据（而非仅Patient ID）的场景。

注意事项：

• 避免低效循环： 尽量避免使用 df.apply(axis=1) 进行行级操作，或使用 df.iterrows() 迭代DataFrame的行。这些操作通常比向量化方法慢得多。
• 理解布尔索引： 布尔索引是Pandas中非常强大的筛选工具，掌握其用法对于高效数据处理至关重要。

总结

本教程通过具体的代码示例，展示了如何在Pandas DataFrame中利用向量化操作，特别是结合布尔索引和列表推导式，高效地根据列条件提取关联数据列表。这种方法不仅显著提升了数据处理的性能，也使得代码更加简洁和易于维护。在处理大规模数据集时，优先考虑和运用Pandas的向量化能力，是每一位数据分析师和工程师的必备技能。

以上就是Pandas DataFrame高效向量化操作：根据列条件提取关联数据列表的详细内容，更多请关注php中文网其它相关文章！