使用NumPy高效地根据坐标选择或排除Pandas DataFrame单元格

碧海醫心
发布: 2025-11-11 13:13:01
原创
356人浏览过

使用NumPy高效地根据坐标选择或排除Pandas DataFrame单元格

本文详细介绍了如何利用numpy的强大功能,高效地根据一组指定的行和列坐标,从pandas dataframe中选择或排除特定的单元格。教程将展示两种模式:一种是仅保留指定单元格并清空其他,另一种是清空指定单元格并保留其他。通过将dataframe转换为numpy数组并运用其高级索引机制,可以实现比传统迭代方法更优的性能和更简洁的代码。

引言

在数据分析和处理中,我们经常需要根据特定的条件来操作Pandas DataFrame中的数据。其中一个常见的需求是,给定一组形如(行索引, 列索引)的坐标,我们需要选择这些坐标对应的单元格,并根据业务逻辑进行处理。这通常涉及两种场景:一是只保留这些指定单元格的值,将其他单元格清空;二是清空这些指定单元格的值,保留其他单元格。

传统的做法可能会涉及遍历坐标列表,然后使用df.iat或df.loc逐个修改单元格。然而,对于大型DataFrame和大量的坐标,这种迭代方法效率低下。本文将介绍一种利用NumPy数组的高级索引功能,实现高效且灵活的单元格选择和修改策略。

核心思路:NumPy高级索引

解决这个问题的关键在于将Pandas DataFrame暂时转换为NumPy数组,然后利用NumPy数组的“高级索引”特性。NumPy的高级索引允许我们使用整数数组或布尔数组来选择非连续的数据子集,这对于根据坐标选择多个单元格非常有效。

具体步骤如下:

  1. 将DataFrame转换为NumPy数组。
  2. 将输入的坐标列表转换为NumPy高级索引所需的格式。
  3. 根据选择模式(保留或排除)创建或修改NumPy数组。
  4. 将结果NumPy数组转换回Pandas DataFrame。

示例数据准备

首先,我们定义一个示例DataFrame和一组坐标列表:

import pandas as pd
import numpy as np

df = pd.DataFrame({
 'col1': ['A', 'B', 'C', 'A', 'G'],
 'col2': ['B', 'E', 'F', 'F', 'H'],
 'col3': ['C', 'D', 'E', 'A', 'I']})

coords = [(2, 0), (3, 2)]

print("原始DataFrame:")
print(df)
登录后复制

输出:

原始DataFrame:
  col1 col2 col3
0    A    B    C
1    B    E    D
2    C    F    E
3    A    F    A
4    G    H    I
登录后复制

实现高效选择函数

我们将创建一个名为select_cells_by_coords的函数,它接受DataFrame、坐标列表和一个布尔参数inverted来控制选择模式。

小羊标书
小羊标书

一键生成百页标书,让投标更简单高效

小羊标书 62
查看详情 小羊标书
def select_cells_by_coords(df: pd.DataFrame, coords: list, inverted: bool = False) -> pd.DataFrame:
    """
    根据给定的坐标列表选择或排除DataFrame中的单元格。

    Args:
        df (pd.DataFrame): 输入的Pandas DataFrame。
        coords (list): 包含 (行索引, 列索引) 元组的列表。
        inverted (bool): 如果为 True,则清空指定坐标的单元格,保留其他。
                         如果为 False,则只保留指定坐标的单元格,清空其他。

    Returns:
        pd.DataFrame: 处理后的DataFrame。
    """
    # 1. 将DataFrame转换为NumPy数组
    data_np = df.to_numpy()

    # 2. 转换坐标格式以用于NumPy高级索引
    # coords = [(row1, col1), (row2, col2)]
    # 转换为 (array([row1, row2]), array([col1, col2]))
    # 这样可以直接用于data_np[rows_array, cols_array]
    if not coords: # 处理空坐标列表的情况
        if inverted:
            return df.copy() # 如果是排除模式且没有坐标,则返回原始df
        else:
            return pd.DataFrame(np.full(df.shape, ''), columns=df.columns) # 如果是保留模式且没有坐标,则返回全空df

    coords_np = np.array(coords).T
    rows_to_select = coords_np[0]
    cols_to_select = coords_np[1]

    # 初始化结果数组
    out_np = np.array(data_np) # 默认从原始数据开始,用于inverted=True情况

    if inverted:
        # 模式1: 清空指定坐标的单元格,保留其他
        # 直接在 out_np 上修改
        out_np[rows_to_select, cols_to_select] = ''
    else:
        # 模式2: 只保留指定坐标的单元格,清空其他
        # 创建一个与原始DataFrame形状相同的空字符串数组
        out_np = np.full(data_np.shape, '', dtype=object)
        # 将指定坐标的值从原始数据复制过来
        out_np[rows_to_select, cols_to_select] = data_np[rows_to_select, cols_to_select]

    # 3. 将结果NumPy数组转换回Pandas DataFrame
    return pd.DataFrame(out_np, columns=df.columns)
登录后复制

使用示例

现在我们来测试这个函数,分别展示两种模式下的输出。

场景一:inverted=False (仅保留指定单元格)

print("\n--- 仅保留指定单元格 (inverted=False) ---")
result_keep_selected = select_cells_by_coords(df, coords, inverted=False)
print(result_keep_selected)
登录后复制

输出:

--- 仅保留指定单元格 (inverted=False) ---
  col1 col2 col3
0             
1             
2    C        
3              A
4             
登录后复制

场景二:inverted=True (清空指定单元格)

print("\n--- 清空指定单元格 (inverted=True) ---")
result_clear_selected = select_cells_by_coords(df, coords, inverted=True)
print(result_clear_selected)
登录后复制

输出:

--- 清空指定单元格 (inverted=True) ---
  col1 col2 col3
0    A    B    C
1    B    E    D
2         F    E
3    A    F    
4    G    H    I
登录后复制

注意事项

  1. 性能优势: 这种基于NumPy数组的解决方案利用了其底层的C语言实现,避免了Python层面的循环,因此对于大型DataFrame和大量坐标,性能远超逐个单元格的迭代修改。
  2. 数据类型: 将单元格设置为''(空字符串)可能会导致包含这些单元格的列的数据类型从数值型或其他类型变为object(Python对象类型)。在后续的数据处理中,请注意这种类型转换可能带来的影响。
  3. 坐标格式: 确保coords列表中的每个元组都是(行索引, 列索引)的形式。这里我们使用的是基于零的整数位置索引。
  4. 原地修改 vs. 返回新DataFrame: 本教程中的函数返回一个新的DataFrame,而不是在原始DataFrame上进行原地修改。这符合Pandas的常见实践,有助于避免副作用,并使代码更易于理解和调试。如果确实需要原地修改,可以考虑在函数外部将结果赋值回原始DataFrame变量,或者在函数内部使用df.iloc配合NumPy的索引结果进行赋值(但这会失去NumPy的整体效率优势)。
  5. 空坐标列表处理: 函数中增加了对coords为空列表的特殊处理,以确保在这种边缘情况下也能返回符合预期的结果。

总结

通过将Pandas DataFrame转换为NumPy数组并巧妙地运用其高级索引功能,我们可以高效且灵活地实现根据坐标选择或排除特定单元格的需求。这种方法不仅代码简洁,更重要的是在处理大规模数据时展现出显著的性能优势,是进行复杂DataFrame操作时值得掌握的技巧。

以上就是使用NumPy高效地根据坐标选择或排除Pandas DataFrame单元格的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号