Pandas DataFrame 数据筛选：按指定列值进行条件截取

本文详细介绍了如何在 pandas dataframe 中根据特定列的数值进行高效的数据筛选与截取。教程涵盖了布尔索引和 query() 方法两种核心技术，通过实例代码演示如何精确地获取满足条件的数据子集，这对于数据分析、可视化预处理至关重要，确保只处理或展示所需的数据范围。

在数据分析和处理中，我们经常需要从大型数据集中提取出符合特定条件的部分。例如，在处理实验数据或时间序列数据时，可能只需要分析某个时间段内的数据。Pandas DataFrame 提供了多种强大且灵活的方法来实现这一目标，即根据某一列的数值进行条件筛选或“截取”数据。本教程将详细介绍几种常用的方法，并通过代码示例进行演示。

创建示例数据

在开始介绍筛选方法之前，我们首先创建一个示例 DataFrame，以便后续操作。这个 DataFrame 模拟了一个实验数据，包含一个 ElapsedTime（经过时间）列和两个测量值列 ValueA 和 ValueB。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 设置随机种子以便结果可复现
np.random.seed(42)

# 创建一个包含时间、ValueA 和 ValueB 的 DataFrame
# ElapsedTime 从 0 到 500 秒，步长 0.5 秒
data = {
    'ElapsedTime': np.arange(0, 501, 0.5),
    'ValueA': np.random.rand(1001) * 100,
    'ValueB': np.sin(np.arange(0, 501, 0.5) / 10) * 50 + np.random.normal(0, 5, 1001)
}
df = pd.DataFrame(data)

print("原始 DataFrame 前5行:")
print(df.head())
print("\n原始 DataFrame 后5行:")
print(df.tail())
print(f"\n原始 DataFrame 总行数: {len(df)}")

方法一：使用布尔索引 (Boolean Indexing)

布尔索引是 Pandas 中最基础也是最常用的数据筛选方法之一。它的核心思想是创建一个与 DataFrame 行数相同的布尔 Series（即由 True 和 False 组成的序列），然后将这个布尔 Series 作为索引传递给 DataFrame。Pandas 会返回所有对应值为 True 的行。

工作原理：

1. 首先，指定一个列（例如 df['ElapsedTime']）。
2. 然后，对该列应用一个条件（例如 df['ElapsedTime'] <= 100）。
3. 这个操作会生成一个布尔 Series，其中满足条件的行的值为 True，不满足的为 False。
4. 最后，将这个布尔 Series 传递给 DataFrame df[boolean_series]，即可得到筛选后的数据。

示例代码： 假设我们想获取 ElapsedTime 列中小于或等于 100 的所有数据。

# 使用布尔索引筛选数据：获取 ElapsedTime <= 100 的所有行
df_filtered_boolean = df[df['ElapsedTime'] <= 100]

print("\n使用布尔索引筛选后的 DataFrame 前5行:")
print(df_filtered_boolean.head())
print("\n使用布尔索引筛选后的 DataFrame 后5行:")
print(df_filtered_boolean.tail())
print(f"筛选后的 DataFrame 行数: {len(df_filtered_boolean)}")

方法二：使用 query() 方法

query() 方法提供了一种使用字符串表达式进行数据筛选的简洁方式。当筛选条件比较复杂或涉及多个列时，query() 方法通常比布尔索引更具可读性。

工作原理：

1. query() 方法接受一个字符串参数，该字符串中包含一个或多个布尔表达式。
2. 在表达式中，你可以直接使用 DataFrame 的列名，而无需使用 df['column_name'] 这种形式。
3. Pandas 会解析这个字符串，并返回满足条件的行。

示例代码： 同样，我们获取 ElapsedTime 列中小于或等于 100 的所有数据。

# 使用 query() 方法筛选数据：获取 ElapsedTime <= 100 的所有行
df_filtered_query = df.query('ElapsedTime <= 100')

print("\n使用 query() 方法筛选后的 DataFrame 前5行:")
print(df_filtered_query.head())
print("\n使用 query() 方法筛选后的 DataFrame 后5行:")
print(df_filtered_query.tail())
print(f"筛选后的 DataFrame 行数: {len(df_filtered_query)}")

方法三：loc 方法与布尔索引结合

loc 方法是 Pandas 中基于标签进行选择的强大工具。当与布尔索引结合时，它能更明确地指定我们正在选择哪些行。虽然 df.loc[df['ElapsedTime'] <= 100] 与 df[df['ElapsedTime'] <= 100] 在结果上是等价的，但 loc 在需要同时指定行和列时（例如 df.loc[df['ElapsedTime'] <= 100, ['ValueA', 'ValueB']]）显示出其优势。

工作原理：loc 的第一个参数是行选择器，第二个参数是列选择器。当行选择器是一个布尔 Series 时，它会选择 Series 中对应值为 True 的所有行。

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

示例代码：

# 使用 loc 方法结合布尔索引筛选数据：获取 ElapsedTime <= 100 的所有行
df_filtered_loc = df.loc[df['ElapsedTime'] <= 100]

print("\n使用 loc 方法结合布尔索引筛选后的 DataFrame 前5行:")
print(df_filtered_loc.head())
print("\n使用 loc 方法结合布尔索引筛选后的 DataFrame 后5行:")
print(df_filtered_loc.tail())
print(f"筛选后的 DataFrame 行数: {len(df_filtered_loc)}")

注意事项

1. 精确匹配与范围筛选：

   • 如果你的目标是获取某一列 恰好等于 某个值的行（例如 ElapsedTime == 100），那么 df[df['ElapsedTime'] == 100] 或 df.query('ElapsedTime == 100') 是正确的。
   • 然而，对于浮点数（如 ElapsedTime），直接使用 == 进行比较可能会因为浮点精度问题导致意外结果。在处理实验数据或连续变量时，通常更倾向于使用范围筛选（<=, >=, <, >）。
   • 用户最初尝试的 df.loc[df['ElapsedTime'] == 100] 如果 ElapsedTime 列中没有精确为 100 的值，或者我们想要的是一个范围，那么它将不会返回预期结果。

2. 多条件筛选：

   • 布尔索引： 使用 & (and) 和 | (or) 运算符组合多个条件，每个条件必须用括号包裹：

     df_multi_condition_boolean = df[(df['ElapsedTime'] <= 100) & (df['ValueA'] > 50)]
     print("\n多条件布尔索引筛选结果前5行:")
     print(df_multi_condition_boolean.head())

     登录后复制
   • query() 方法： 使用 and 和 or 关键字，语法更接近自然语言：

     df_multi_condition_query = df.query('ElapsedTime <= 100 and ValueA > 50')
     print("\n多条件 query() 筛选结果前5行:")
     print(df_multi_condition_query.head())

     登录后复制

     在处理多个条件时，query() 方法通常具有更好的可读性。

3. 性能考量： 对于非常大的 DataFrame，query() 方法在某些情况下可能比布尔索引具有更好的性能，因为它在内部使用了 numexpr 库进行优化。然而，对于大多数常见用例，两者的性能差异可能不明显。选择哪种方法更多取决于代码的可读性和个人偏好。

4. 链式赋值警告 (SettingWithCopyWarning)： 当你筛选出一个子 DataFrame 后，如果尝试直接修改这个子 DataFrame，可能会遇到 SettingWithCopyWarning。这是因为筛选结果可能是一个视图（view）也可能是一个副本（copy），直接修改视图可能会导致原始 DataFrame 被意外修改，而修改副本则不会影响原始数据。为了避免这个问题，如果需要修改筛选后的数据，最好显式地创建一个副本：

   df_filtered_copy = df[df['ElapsedTime'] <= 100].copy()
   # 现在可以安全地修改 df_filtered_copy
   df_filtered_copy['ValueA'] = df_filtered_copy['ValueA'] * 2
   print("\n修改副本后的 DataFrame 前5行:")
   print(df_filtered_copy.head())

   登录后复制

可视化应用

一旦数据被成功筛选，就可以轻松地用于 Matplotlib 等库进行可视化，只展示感兴趣的数据区间。

# 使用筛选后的数据进行绘图
plt.figure(figsize=(12, 6))
plt.plot(df_filtered_boolean['ElapsedTime'], df_filtered_boolean['ValueB'], label='ValueB (0-100s)')
plt.xlabel('Elapsed Time (s)')
plt.ylabel('Value B')
plt.title('Value B vs. Elapsed Time (0-100s)')
plt.grid(True)
plt.legend()
plt.show()

总结

在 Pandas 中根据列值对 DataFrame 进行条件截取是数据预处理和分析的核心操作。本文介绍了三种主要方法：布尔索引、query() 方法以及 loc 与布尔索引的结合。布尔索引提供了强大的灵活性，而 query() 方法则在复杂条件下提供了更佳的可读性。理解并熟练运用这些技术，能够帮助你高效地处理和分析数据，确保你的分析和可视化始终基于最相关的数据子集。选择哪种方法取决于具体的场景、个人偏好以及对代码可读性和性能的需求。在实际应用中，建议根据具体情况选择最清晰、最易维护的方式。

以上就是Pandas DataFrame 数据筛选：按指定列值进行条件截取的详细内容，更多请关注php中文网其它相关文章！