Pandas DataFrame 数据截取：基于列值高效筛选与切割

心靈之曲

发布时间：2025-11-10 10:49:30

163人浏览过

来源于php中文网

原创

Pandas DataFrame 数据截取：基于列值高效筛选与切割

本文详细介绍了如何在pandas dataframe中根据特定列的值进行数据截取和筛选。我们将探讨布尔索引、query() 方法以及结合 loc 进行筛选的多种高效技术，旨在帮助用户精确地从数据集中选择符合特定条件（如小于或等于某个阈值）的行，从而满足数据分析和可视化的需求，避免常见的筛选错误。

在数据分析和处理过程中，我们经常需要从大型数据集中提取符合特定条件的数据子集。一个常见的场景是，我们希望根据某一列的数值来“切割”或“筛选”DataFrame，例如，只保留时间戳小于或等于某个特定值的所有数据。本文将详细介绍几种在Pandas中实现这一目标的高效方法。

1. 准备示例数据

首先，我们创建一个示例Pandas DataFrame，模拟实验数据，其中包含一个 ElapsedTime 列，表示经过的时间。

import pandas as pd
import numpy as np

# 创建一个示例DataFrame
data = {
    'ElapsedTime': np.arange(0, 501, 5), # 从0到500，步长为5
    'MeasurementA': np.random.rand(101) * 100,
    'MeasurementB': np.random.rand(101) * 50
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df.head())
print("...")
print(df.tail())

我们的目标是只保留 ElapsedTime 小于或等于100秒的数据。

2. 使用布尔索引进行筛选

布尔索引是Pandas中最基础也是最常用的数据筛选方法之一。通过创建一个布尔Series（由条件表达式生成），我们可以直接将其应用于DataFrame来选择对应的行。

# 方法一：使用布尔索引
# 创建一个布尔Series，其中ElapsedTime <= 100的为True
condition = df['ElapsedTime'] <= 100
df_filtered_boolean = df[condition]

print("\n使用布尔索引筛选后的DataFrame (ElapsedTime <= 100):")
print(df_filtered_boolean.head())
print("...")
print(df_filtered_boolean.tail())
print(f"筛选后的行数: {len(df_filtered_boolean)}")

解释:

知鹿匠

知鹿匠教师AI工具，新课标教案_AI课件PPT_作业批改

下载

df['ElapsedTime']
将这个布尔Series condition 放到DataFrame的方括号 df[condition] 中，Pandas会自动选择所有对应布尔值为 True 的行。

3. 使用 query() 方法进行筛选

query() 方法提供了一种使用字符串表达式来筛选DataFrame的便捷方式。它通常在筛选条件比较复杂时，能提供更好的可读性。

# 方法二：使用query()方法
df_filtered_query = df.query('ElapsedTime <= 100')

print("\n使用query()方法筛选后的DataFrame (ElapsedTime <= 100):")
print(df_filtered_query.head())
print("...")
print(df_filtered_query.tail())
print(f"筛选后的行数: {len(df_filtered_query)}")

解释:

df.query('ElapsedTime
Pandas会在内部解析这个字符串，并应用相应的筛选逻辑。对于简单的条件，它的性能与布尔索引相近，但在处理多个条件或引用外部变量时，query() 的语法可能更简洁。

4. 结合 loc 进行筛选

loc 访问器主要用于基于标签的索引，但它也可以与布尔索引结合使用，以更明确的方式进行行选择。这在需要同时选择特定行和列时尤其有用。

# 方法三：使用loc结合布尔索引
df_filtered_loc = df.loc[df['ElapsedTime'] <= 100]

print("\n使用loc结合布尔索引筛选后的DataFrame (ElapsedTime <= 100):")
print(df_filtered_loc.head())
print("...")
print(df_filtered_loc.tail())
print(f"筛选后的行数: {len(df_filtered_loc)}")

解释:

df.loc[] 的第一个参数用于行选择。
我们将布尔Series df['ElapsedTime']
如果还需要选择特定的列，可以在 loc 的第二个参数中指定，例如 df.loc[df['ElapsedTime']

5. 常见错误与注意事项

在进行数据截取时，用户常犯的一个错误是使用 ==（等于）而不是

错误示例:

# 错误示例：只选择ElapsedTime等于100的行
df_error = df.loc[df['ElapsedTime'] == 100]

print("\n错误示例：只选择ElapsedTime等于100的DataFrame:")
print(df_error)
print(f"筛选后的行数: {len(df_error)}")

问题分析:

如果你的数据在 ElapsedTime 列中没有精确等于100的行（例如，数据点是0, 5, 10...95, 100, 105...），那么 df['ElapsedTime'] == 100 可能只会返回一行或几行，甚至是一个空的DataFrame。
原始问题中提到的 x and y must have same first dimension, but have shapes (973088,) and (0, 5) 错误，很可能就是因为筛选结果 x（即 df_error）是一个空DataFrame（或行数极少），而尝试将其与原始DataFrame的某些列（如 y）进行操作或绘图时，导致维度不匹配。

正确理解需求: