Pandas DataFrame条件筛选与数值替换教程

本教程详细讲解如何在pandas dataframe中根据条件进行数值筛选和替换，避免布尔值输出。我们将探讨使用逻辑运算符 `&` 进行多条件筛选、利用 `|` 运算符替换不符合条件的数值为 `nan`，以及高效地使用 `clip()` 方法将数值限定在指定范围内。掌握这些技巧能帮助用户精确处理dataframe数据，确保输出为数值结果而非布尔 series。

在数据分析中，我们经常需要根据特定条件从Pandas DataFrame中筛选数据或替换数值。然而，初学者在使用多个条件时，可能会遇到返回布尔 Series 而非期望数值结果的问题。本教程将深入探讨如何正确执行这些操作，确保获得数值输出，并介绍多种实现方式以满足不同需求。

一、理解条件筛选中的布尔 Series 问题

当我们在Pandas中对某一列应用条件时，例如 df['column'] >= value，Pandas会返回一个布尔 Series，其中每个元素对应原 Series 中是否满足条件。当尝试组合多个条件时，如果不注意运算符优先级，就容易出错。

例如，以下代码尝试筛选出 parallax 列中值介于 300 和 900 之间的数据：

import pandas as pd
import numpy as np

# 示例数据
data = {
    'parallax': [567.17, 677.52, 422.74, 638.04, 9927.29, 1142.04, 218.38, 506.34, np.nan, np.nan]
}
df = pd.DataFrame(data)

# 错误尝试：
# new_df = df.loc[df['parallax'] >= 300, 'parallax'] <= 900
# 这种写法会先执行 df.loc[df['parallax'] >= 300, 'parallax']，
# 得到一个 Series，然后尝试将这个 Series 与 <= 900 进行比较，
# 导致语法错误或非预期结果。

正确的做法是使用逻辑运算符 &（按位与）来组合条件，并且必须用括号将每个条件表达式括起来，以确保正确的运算优先级。

二、正确地进行条件筛选

要从DataFrame中筛选出满足多个条件的数据行，应使用 & 运算符连接各个布尔条件，并用括号明确优先级。

# 正确的条件筛选
filtered_df = df[(df['parallax'] >= 300) & (df['parallax'] <= 900)]
print("筛选后的DataFrame (300 <= parallax <= 900):")
print(filtered_df)

解释：

1. df['parallax'] >= 300 生成一个布尔 Series。
2. df['parallax'] <= 900 也生成一个布尔 Series。
3. (df['parallax'] >= 300) & (df['parallax'] <= 900) 使用 & 运算符对这两个布尔 Series 进行逐元素逻辑与操作，生成一个新的布尔 Series，只有当两个条件都为 True 时，结果才为 True。
4. 最后，将这个新的布尔 Series 作为索引传递给 df，Pandas 会返回所有对应布尔值为 True 的行。

三、根据条件替换数值

如果目标不是筛选数据，而是替换DataFrame中不符合条件的数值（例如，替换为 NaN 或其他特定值），则需要不同的方法。

Swapface人脸交换

一款创建逼真人脸交换的AI换脸工具

45

查看详情

1. 替换不符合条件的数值为 NaN

我们可以识别出所有不符合条件的行（即 parallax 小于 300 或大于 900 的行），然后将这些位置的数值替换为 np.nan。

# 复制原始DataFrame，避免修改原数据
df_replaced_nan = df.copy()

# 识别不符合条件的行：使用 | (按位或) 运算符
condition_to_replace = (df_replaced_nan['parallax'] < 300) | (df_replaced_nan['parallax'] > 900)

# 将不符合条件的数值替换为 NaN
df_replaced_nan.loc[condition_to_replace, 'parallax'] = np.nan
print("\n替换不符合条件数值为 NaN 的DataFrame:")
print(df_replaced_nan)

解释：

1. df.copy() 创建一个副本，以防止对原始DataFrame造成意外修改。
2. condition_to_replace 使用 | 运算符来组合条件，找出所有 parallax 值小于 300 或大于 900 的行。
3. df_replaced_nan.loc[condition_to_replace, 'parallax'] = np.nan 精确地定位到这些不符合条件的行，并将其 parallax 列的值设置为 np.nan。

2. 使用 clip() 方法限定数值范围

如果需求是将超出指定范围的数值“裁剪”到边界值，Pandas 的 clip() 方法是最高效的解决方案。clip() 可以将 Series 或 DataFrame 中的值限制在一个给定的 lower 和 upper 边界之间。

# 复制原始DataFrame
df_clipped = df.copy()

# 使用 clip() 方法将 parallax 列的值限定在 [300, 900] 范围内
df_clipped['parallax'].clip(lower=300, upper=900, inplace=True)
print("\n使用 clip() 方法限定数值范围的DataFrame:")
print(df_clipped)

解释：

1. df.copy() 同样是为了保护原始数据。
2. df_clipped['parallax'].clip(lower=300, upper=900, inplace=True) 会遍历 parallax 列：
   • 如果值小于 300，则替换为 300。
   • 如果值大于 900，则替换为 900。
   • 如果值在 300 和 900 之间，则保持不变。
3. inplace=True 参数表示直接修改原 Series，而不是返回一个新的 Series。

四、总结与注意事项

• 运算符优先级： 在Pandas中组合多个条件时，务必使用括号 () 包裹每个独立的条件表达式，以确保 & (逻辑与) 和 | (逻辑或) 运算符的正确执行顺序。
• 选择与替换：
  • 如果目的是获取满足条件的数据子集，请使用 df[条件] 或 df.loc[条件]。
  • 如果目的是修改原DataFrame中不符合条件的值，可以结合布尔索引和赋值操作，或使用 clip() 等专门方法。
• df.copy() 的使用： 当你打算修改一个从现有DataFrame派生出的子集时，为了避免 SettingWithCopyWarning 和确保修改只作用于副本而不影响原始数据，强烈建议先使用 df.copy() 创建一个明确的副本。
• loc 与 iloc： loc 主要用于基于标签的索引，而 iloc 用于基于整数位置的索引。在进行条件筛选和替换时，通常使用 loc 结合布尔 Series 来定位数据。

通过掌握上述方法，您可以更加灵活和准确地在Pandas DataFrame中进行条件筛选和数值替换，从而高效地完成数据清洗和预处理任务。

以上就是Pandas DataFrame条件筛选与数值替换教程的详细内容，更多请关注php中文网其它相关文章！