Pandas DataFrame条件筛选与数值替换教程

本教程详细讲解如何在pandas dataframe中根据条件进行数值筛选和替换，避免布尔值输出。我们将探讨使用逻辑运算符 `&` 进行多条件筛选、利用 `|` 运算符替换不符合条件的数值为 `nan`，以及高效地使用 `clip()` 方法将数值限定在指定范围内。掌握这些技巧能帮助用户精确处理dataframe数据，确保输出为数值结果而非布尔 series。

在数据分析中，我们经常需要根据特定条件从Pandas DataFrame中筛选数据或替换数值。然而，初学者在使用多个条件时，可能会遇到返回布尔 Series 而非期望数值结果的问题。本教程将深入探讨如何正确执行这些操作，确保获得数值输出，并介绍多种实现方式以满足不同需求。

一、理解条件筛选中的布尔 Series 问题

当我们在Pandas中对某一列应用条件时，例如 df['column'] >= value，Pandas会返回一个布尔 Series，其中每个元素对应原 Series 中是否满足条件。当尝试组合多个条件时，如果不注意运算符优先级，就容易出错。

例如，以下代码尝试筛选出 parallax 列中值介于 300 和 900 之间的数据：

import pandas as pd
import numpy as np

# 示例数据
data = {
    'parallax': [567.17, 677.52, 422.74, 638.04, 9927.29, 1142.04, 218.38, 506.34, np.nan, np.nan]
}
df = pd.DataFrame(data)

# 错误尝试：
# new_df = df.loc[df['parallax'] >= 300, 'parallax'] <= 900
# 这种写法会先执行 df.loc[df['parallax'] >= 300, 'parallax']，
# 得到一个 Series，然后尝试将这个 Series 与 <= 900 进行比较，
# 导致语法错误或非预期结果。

正确的做法是使用逻辑运算符 &（按位与）来组合条件，并且必须用括号将每个条件表达式括起来，以确保正确的运算优先级。

二、正确地进行条件筛选

要从DataFrame中筛选出满足多个条件的数据行，应使用 & 运算符连接各个布尔条件，并用括号明确优先级。

# 正确的条件筛选
filtered_df = df[(df['parallax'] >= 300) & (df['parallax'] <= 900)]
print("筛选后的DataFrame (300 <= parallax <= 900):")
print(filtered_df)

解释：

1. df['parallax'] >= 300 生成一个布尔 Series。
2. df['parallax']
3. (df['parallax'] >= 300) & (df['parallax']
4. 最后，将这个新的布尔 Series 作为索引传递给 df，Pandas 会返回所有对应布尔值为 True 的行。

三、根据条件替换数值

如果目标不是筛选数据，而是替换DataFrame中不符合条件的数值（例如，替换为 NaN 或其他特定值），则需要不同的方法。

吐司AI

超多功能的免费在线生图网站！拥有全网更齐全的模型库，0门槛使用！

325

查看详情

1. 替换不符合条件的数值为 NaN

我们可以识别出所有不符合条件的行（即 parallax 小于 300 或大于 900 的行），然后将这些位置的数值替换为 np.nan。

# 复制原始DataFrame，避免修改原数据
df_replaced_nan = df.copy()

# 识别不符合条件的行：使用 | (按位或) 运算符
condition_to_replace = (df_replaced_nan['parallax'] < 300) | (df_replaced_nan['parallax'] > 900)

# 将不符合条件的数值替换为 NaN
df_replaced_nan.loc[condition_to_replace, 'parallax'] = np.nan
print("\n替换不符合条件数值为 NaN 的DataFrame:")
print(df_replaced_nan)

解释：

1. df.copy() 创建一个副本，以防止对原始DataFrame造成意外修改。
2. condition_to_replace 使用 | 运算符来组合条件，找出所有 parallax 值小于 300 或大于 900 的行。
3. df_replaced_nan.loc[condition_to_replace, 'parallax'] = np.nan 精确地定位到这些不符合条件的行，并将其 parallax 列的值设置为 np.nan。

2. 使用 clip() 方法限定数值范围

如果需求是将超出指定范围的数值“裁剪”到边界值，Pandas 的 clip() 方法是最高效的解决方案。clip() 可以将 Series 或 DataFrame 中的值限制在一个给定的 lower 和 upper 边界之间。

# 复制原始DataFrame
df_clipped = df.copy()

# 使用 clip() 方法将 parallax 列的值限定在 [300, 900] 范围内
df_clipped['parallax'].clip(lower=300, upper=900, inplace=True)
print("\n使用 clip() 方法限定数值范围的DataFrame:")
print(df_clipped)

解释：

1. df.copy() 同样是为了保护原始数据。
2. df_clipped['parallax'].clip(lower=300, upper=900, inplace=True) 会遍历 parallax 列：
   • 如果值小于 300，则替换为 300。
   • 如果值大于 900，则替换为 900。
   • 如果值在 300 和 900 之间，则保持不变。
3. inplace=True 参数表示直接修改原 Series，而不是返回一个新的 Series。

四、总结与注意事项

• 运算符优先级： 在Pandas中组合多个条件时，务必使用括号 () 包裹每个独立的条件表达式，以确保 & (逻辑与) 和 | (逻辑或) 运算符的正确执行顺序。
• 选择与替换：
  • 如果目的是获取满足条件的数据子集，请使用 df[条件] 或 df.loc[条件]。
  • 如果目的是修改原DataFrame中不符合条件的值，可以结合布尔索引和赋值操作，或使用 clip() 等专门方法。
• df.copy() 的使用： 当你打算修改一个从现有DataFrame派生出的子集时，为了避免 SettingWithCopyWarning 和确保修改只作用于副本而不影响原始数据，强烈建议先使用 df.copy() 创建一个明确的副本。
• loc 与 iloc： loc 主要用于基于标签的索引，而 iloc 用于基于整数位置的索引。在进行条件筛选和替换时，通常使用 loc 结合布尔 Series 来定位数据。

通过掌握上述方法，您可以更加灵活和准确地在Pandas DataFrame中进行条件筛选和数值替换，从而高效地完成数据清洗和预处理任务。

以上就是Pandas DataFrame条件筛选与数值替换教程的详细内容，更多请关注php中文网其它相关文章！