在数据处理中，我们经常需要对整个dataframe的每一行或每一列应用一组特定的操作。当这组操作涉及与一个固定单行值进行元素级运算时（例如，除法），如何在polars中高效实现是一个常见需求。与pandas中可能通过df.divide实现类似功能不同，polars在dataframe级别的隐式广播行为有所不同，直接对两个形状不匹配的dataframe执行数学运算通常会导致错误或需要显式对齐。
考虑以下场景：我们有一个包含多行数据的Polars DataFrame，以及一个包含对应列除数的单行Polars DataFrame。目标是将主DataFrame的每一列与其对应的除数进行元素级除法。
import polars as pl
from itertools import repeat
# 原始数据DataFrame
data = {'a': [i for i in range(1, 5)],
'b': [i for i in range(1, 5)],
'c': [i for i in range(1, 5)],
'd': [i for i in range(1, 5)]}
df = pl.DataFrame(data)
# 除数DataFrame (单行)
divisors = pl.DataFrame({'d1': 1, 'd2': 10, 'd3': 100, 'd4': 1000})
print("原始 DataFrame (df):")
print(df)
print("\n除数 DataFrame (divisors):")
print(divisors)输出:
原始 DataFrame (df): shape: (4, 4) ┌─────┬─────┬─────┬─────┐ │ a ┆ b ┆ c ┆ d │ │ --- ┆ --- ┆ --- ┆ --- │ │ i64 ┆ i64 ┆ i64 ┆ i64 │ ╞═════╪═════╪═════╪═════╡ │ 1 ┆ 1 ┆ 1 ┆ 1 │ │ 2 ┆ 2 ┆ 2 ┆ 2 │ │ 3 ┆ 3 ┆ 3 ┆ 3 │ │ 4 ┆ 4 ┆ 4 ┆ 4 │ └─────┴─────┴─────┴─────┘ 除数 DataFrame (divisors): shape: (1, 4) ┌─────┬─────┬─────┬──────┐ │ d1 ┆ d2 ┆ d3 ┆ d4 │ │ --- ┆ --- ┆ --- ┆ --- │ │ i64 ┆ i64 ┆ i64 ┆ i64 │ ╞═════╪═════╪═════╪══════╡ │ 1 ┆ 10 ┆ 100 ┆ 1000 │ └─────┴─────┴──────┴──────┘
一种直观但效率低下的方法是，将单行divisors DataFrame复制多次，使其行数与主df DataFrame相同，然后直接执行除法。
# 低效方法：复制单行DataFrame
divisors_as_big_as_df = pl.concat([item for item in repeat(divisors, len(df))])
divided_df_inefficient = df / divisors_as_big_as_df
print("\n复制后的除数 DataFrame (divisors_as_big_as_df):")
print(divisors_as_big_as_df)
print("\n低效方法得到的除法结果 (divided_df_inefficient):")
print(divided_df_inefficient)输出:
复制后的除数 DataFrame (divisors_as_big_as_df): shape: (4, 4) ┌─────┬─────┬─────┬──────┐ │ d1 ┆ d2 ┆ d3 ┆ d4 │ │ --- ┆ --- ┆ --- ┆ --- │ │ i64 ┆ i64 ┆ i64 ┆ i64 │ ╞═════╪═════╪═════╪══════╡ │ 1 ┆ 10 ┆ 100 ┆ 1000 │ │ 1 ┆ 10 ┆ 100 ┆ 1000 │ │ 1 ┆ 10 ┆ 100 ┆ 1000 │ │ 1 ┆ 10 ┆ 100 ┆ 1000 │ └─────┴─────┴──────┴──────┘ 低效方法得到的除法结果 (divided_df_inefficient): shape: (4, 4) ┌─────┬─────┬──────┬───────┐ │ a ┆ b ┆ c ┆ d │ │ --- ┆ --- ┆ --- ┆ --- │ │ f64 ┆ f64 ┆ f64 ┆ f64 │ ╞═════╪═════╪══════╪═══════╡ │ 1.0 ┆ 0.1 ┆ 0.01 ┆ 0.001 │ │ 2.0 ┆ 0.2 ┆ 0.02 ┆ 0.002 │ │ 3.0 ┆ 0.3 ┆ 0.03 ┆ 0.003 │ │ 4.0 ┆ 0.4 ┆ 0.04 ┆ 0.004 │ └─────┴─────┴──────┴───────┘
这种方法虽然能得到正确结果，但当df的行数非常大时，创建divisors_as_big_as_df这个大型中间DataFrame会消耗大量的内存和计算时间，效率极低。
宁志投票评选网站管理系统一套专为活动投票专题建站首选的信息网站管理系统，风格宽频页面十分大方，宁志网站管理系统是国内知名建站软件，它由技术人员开发好了的一种现成建站软件，主要为全国各地方自助建站提供方便。 特点：安全、稳定、美观、实用、易操作。NZCMS开发结构采用ASP+ACCESS/MSSQL开发，运行高效的运行性能以及良好的可维护性，在近几年来吸引了众多国内机关单位的使用与推动：由于有众多支
119
Polars的设计哲学鼓励利用其表达式系统和延迟计算（Lazy Evaluation）来优化性能。对于这种场景，最佳实践是避免创建大型中间DataFrame，而是通过迭代列并利用with_columns方法进行逐列除法。
with_columns方法允许我们一次性添加或修改多个列。我们可以构建一个字典，其中键是目标列名（即df的列名），值是对应的Polars表达式，表示该列除以divisors DataFrame中对应的单值。
# 高效方法：使用 with_columns 逐列除法
# 注意：这里假设 df 的列名与 divisors 的列名可以通过索引或某种映射关系对应。
# 在本例中，df 的列是 'a', 'b', 'c', 'd'，divisors 的列是 'd1', 'd2', 'd3', 'd4'。
# 我们通过 enumerate(df.columns) 和 f"d{i+1}" 来建立这种对应关系。
divided_df_efficient = df.with_columns(
**{col: pl.col(col) / divisors[f"d{i+1}"]
for (i, col) in enumerate(df.columns)}
)
print("\n高效方法得到的除法结果 (divided_df_efficient):")
print(divided_df_efficient)输出:
高效方法得到的除法结果 (divided_df_efficient): shape: (4, 4) ┌─────┬─────┬──────┬───────┐ │ a ┆ b ┆ c ┆ d │ │ --- ┆ --- ┆ --- ┆ --- │ │ f64 ┆ f64 ┆ f64 ┆ f64 │ ╞═════╪═════╪══════╪═══════╡ │ 1.0 ┆ 0.1 ┆ 0.01 ┆ 0.001 │ │ 2.0 ┆ 0.2 ┆ 0.02 ┆ 0.002 │ │ 3.0 ┆ 0.3 ┆ 0.03 ┆ 0.003 │ │ 4.0 ┆ 0.4 ┆ 0.04 ┆ 0.004 │ └─────┴─────┴──────┴───────┘
在Polars中对DataFrame进行行与单行DataFrame的元素级除法时，最推荐且高效的方法是利用with_columns结合列迭代和Polars表达式。这种方法通过避免创建大型冗余的中间DataFrame，充分利用了Polars的内存优化和查询优化能力，从而实现高性能的数据处理。理解Polars的表达式系统和广播机制对于编写高效的数据处理代码至关重要。
以上就是Polars中高效实现DataFrame行与单行DataFrame的除法操作的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
352
收藏
