0

0

使用Pandas DataFrame高效执行多列算术运算

碧海醫心

碧海醫心

发布时间:2025-11-23 11:26:02

|

155人浏览过

|

来源于php中文网

原创

使用pandas dataframe高效执行多列算术运算

本文旨在探讨在Pandas DataFrame中对多列进行加减法运算的两种高效方法。我们将介绍如何利用`DataFrame.eval()`进行多行表达式计算,以及如何通过链式调用`add()`和`sub()`方法实现向量化操作。通过具体示例,读者将掌握在Python环境中简洁、高效地处理DataFrame列间复杂算术逻辑的技巧,从而提升数据处理效率和代码可读性

在数据分析和处理中,我们经常需要对Pandas DataFrame中的多个列执行一系列算术运算。当这些运算模式相似且涉及多个目标列时,寻找一种简洁高效的方法至关重要。本教程将详细介绍两种实现这一目标的策略:使用DataFrame.eval()进行多行表达式求值,以及利用Pandas的向量化方法add()和sub()。

1. 数据准备

首先,我们创建一个示例DataFrame,作为后续操作的基础。

import pandas as pd

data = {
  "A": [42, 38, 39, 23],
  "B": [45, 30, 15, 65],
  "C": [60, 50, 25, 43],
  "D": [12, 70, 35, 76],
  "E": [87, 90, 45, 43],
  "F": [40, 48, 55, 76],
  "G": [58, 42, 85, 10],
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

我们的目标是针对列 C, D, E,执行相同的运算逻辑:目标列 = 目标列 - B + A。

2. 方法一:使用 DataFrame.eval() 进行多行表达式求值

DataFrame.eval() 方法允许用户以字符串形式传递表达式,Pandas 会在 DataFrame 的上下文中对这些表达式进行求值。对于需要对多个列执行相同或相似操作的场景,eval() 特别有用,因为它支持多行表达式,从而提高了代码的清晰度。

df_eval = df.copy() # 创建副本,避免修改原始df
df_eval = df_eval.eval('''
C = C - B + A
D = D - B + A
E = E - B + A
''')

print("\n使用 eval() 后的DataFrame:")
print(df_eval)

优点:

  • 可读性强: 表达式直接反映了数学逻辑,易于理解。
  • 简洁: 可以在一个方法调用中处理多个列的更新。
  • 性能: 对于大型DataFrame,eval() 通常比纯Python循环更快,因为它在C层级进行优化。

注意事项:

  • 表达式字符串需要严格遵循Python语法,且只能引用DataFrame中的列名。
  • eval() 默认会修改DataFrame的副本并返回,如果需要原地修改,可以考虑inplace=True参数(但通常不推荐,因为会使链式操作复杂化)。

3. 方法二:使用向量化操作 add() 和 sub()

Pandas 提供了高度优化的向量化方法,如 add()、sub()、mul()、div() 等,它们能够对整个 Series 或 DataFrame 执行元素级的运算,而无需显式循环。对于本例中的模式 目标列 = 目标列 - B + A,我们可以将其分解为 目标列 = 目标列 + (A - B)。

网趣网上购物系统HTML静态版
网趣网上购物系统HTML静态版

网趣购物系统静态版支持网站一键静态生成,采用动态进度条模式生成静态,生成过程更加清晰明确,商品管理上增加淘宝数据包导入功能,与淘宝数据同步更新!采用领先的AJAX+XML相融技术,速度更快更高效!系统进行了大量的实用性更新,如优化核心算法、增加商品图片批量上传、谷歌地图浏览插入等,静态版独特的生成算法技术使静态生成过程可随意掌控,从而可以大大减轻服务器的负担,结合多种强大的SEO优化方式于一体,使

下载
df_vec = df.copy() # 创建副本
# 首先计算 (A - B) 的结果,这是一个 Series
intermediate_result = df_vec['A'].sub(df_vec['B'])

# 然后将这个 Series 加到目标列 C, D, E 上
# 注意:当将一个 Series 加到一个 DataFrame 的子集时,
# Pandas 会根据索引对齐,并广播 Series 的值到每一行。
# 明确指定 axis=0 确保按行进行操作(即 Series 的每个值对应 DataFrame 的一行)
df_vec[['C', 'D', 'E']] = df_vec[['C', 'D', 'E']].add(intermediate_result, axis=0)

print("\n使用向量化操作后的DataFrame:")
print(df_vec)

优点:

  • 极致性能: Pandas 的核心优势之一,这些方法在底层C/Cython实现,速度非常快,尤其适用于大型数据集。
  • Pandas 惯用法: 这种链式调用和向量化思维是Pandas数据处理的推荐方式。
  • 灵活性: 可以通过 axis 参数控制操作的方向(行或列)。

注意事项:

  • 理解 axis 参数对于正确执行操作至关重要。axis=0 表示按行操作(或沿索引方向),axis=1 表示按列操作(或沿列方向)。
  • 当操作涉及不同维度的数据(如 DataFrame 和 Series)时,Pandas 会尝试进行对齐和广播。确保这种行为符合预期。

4. 结果验证

无论是使用 eval() 还是向量化方法,最终的输出结果都应该是一致的:

    A   B   C   D   E   F   G
0  42  45  57   9  84  40  58
1  38  30  58  78  98  48  42
2  39  15  49  59  69  55  85
3  23  65   1  34   1  76  10

可以看到,列 C, D, E 都按照 目标列 = 目标列 - B + A 的逻辑进行了更新。

5. 总结与最佳实践

在Pandas DataFrame中对多列执行批量算术运算时,DataFrame.eval() 和链式向量化方法都是强大的工具

  • 选择 eval() 的场景:
    • 当表达式逻辑复杂,且涉及多个列的更新时,eval() 的多行字符串形式能提供更好的可读性。
    • 当表达式可以直接引用DataFrame中的列名,并且表达式本身比较长或包含多个中间步骤时。
  • 选择向量化操作的场景:
    • 当操作模式相对简单,可以分解为一系列 add(), sub(), mul() 等方法链式调用时。
    • 追求极致性能,并且熟悉Pandas的向量化操作原理时。
    • 当需要更细粒度地控制对齐和广播行为时。

在实际开发中,通常会根据具体情况和团队的代码风格偏好来选择。对于大多数日常任务,两种方法都能提供高效且可读的解决方案。建议优先考虑向量化操作,因为它更符合Pandas的设计哲学,并且在性能上通常表现更优。然而,对于涉及大量临时变量或复杂条件逻辑的表达式,eval() 的简洁性可能更具吸引力。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

752

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

636

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

758

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

618

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1262

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

547

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

577

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

706

2023.08.11

Java 桌面应用开发(JavaFX 实战)
Java 桌面应用开发(JavaFX 实战)

本专题系统讲解 Java 在桌面应用开发领域的实战应用,重点围绕 JavaFX 框架,涵盖界面布局、控件使用、事件处理、FXML、样式美化(CSS)、多线程与UI响应优化,以及桌面应用的打包与发布。通过完整示例项目,帮助学习者掌握 使用 Java 构建现代化、跨平台桌面应用程序的核心能力。

36

2026.01.14

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.6万人学习

Django 教程
Django 教程

共28课时 | 3.1万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号