在数据处理中，我们经常需要对DataFrame的每一列或每一行应用特定的操作。当需要将一个DataFrame的行（或列）除以一组特定的数值时，如果这些数值来源于一个单行（或单列）的DataFrame，如何高效地实现这一操作就成为了一个常见问题。特别是在处理大型数据集时，性能和内存效率是至关重要的考量因素。
在Polars中，如果直接尝试将一个DataFrame与一个单行DataFrame进行除法运算，Polars的广播机制默认不会直接将单行DataFrame的每列值广播到目标DataFrame的对应整列。一种直观但效率低下的方法是手动将单行DataFrame重复多次，使其行数与目标DataFrame相同，然后再进行元素级的除法。
考虑以下场景：我们有一个包含多行数据的DataFrame df，以及一个包含除数信息的单行DataFrame divisors。
import polars as pl
from itertools import repeat
# 示例数据
data = {'a': [i for i in range(1, 5)],
'b': [i for i in range(1, 5)],
'c': [i for i in range(1, 5)],
'd': [i for i in range(1, 5)]}
df = pl.DataFrame(data)
# 单行除数DataFrame
divisors = pl.DataFrame({'d1': 1, 'd2': 10, 'd3': 100, 'd4': 1000})
print("原始DataFrame (df):")
print(df)
print("\n除数DataFrame (divisors):")
print(divisors)输出：
原始DataFrame (df): shape: (4, 4) ┌─────┬─────┬─────┬─────┐ │ a ┆ b ┆ c ┆ d │ │ --- ┆ --- ┆ --- ┆ --- │ │ i64 ┆ i64 ┆ i64 ┆ i64 │ ╞═════╪═════╪═════╪═════╡ │ 1 ┆ 1 ┆ 1 ┆ 1 │ │ 2 ┆ 2 ┆ 2 ┆ 2 │ │ 3 ┆ 3 ┆ 3 ┆ 3 │ │ 4 ┆ 4 ┆ 4 ┆ 4 │ └─────┴─────┴─────┴─────┘ 除数DataFrame (divisors): shape: (1, 4) ┌─────┬─────┬─────┬──────┐ │ d1 ┆ d2 ┆ d3 ┆ d4 │ │ --- ┆ --- ┆ --- ┆ --- │ │ i64 ┆ i64 ┆ i64 ┆ i64 │ ╞═════╪═════╪═════╪══════╡ │ 1 ┆ 10 ┆ 100 ┆ 1000 │ └─────┴─────┴─────┴──────┘
为了使 divisors DataFrame的行数与 df 匹配，我们可以手动复制 divisors 并进行拼接：
# 低效方法：重复并拼接除数DataFrame
divisors_as_big_as_df = pl.concat([item for item in repeat(divisors, len(df))])
divided_df_inefficient = df / divisors_as_big_as_df
print("\n重复后的除数DataFrame (divisors_as_big_as_df):")
print(divisors_as_big_as_df)
print("\n低效方法得到的除法结果 (divided_df_inefficient):")
print(divided_df_inefficient)输出：
重复后的除数DataFrame (divisors_as_big_as_df): shape: (4, 4) ┌─────┬─────┬─────┬──────┐ │ d1 ┆ d2 ┆ d3 ┆ d4 │ │ --- ┆ --- ┆ --- ┆ --- │ │ i64 ┆ i64 ┆ i64 ┆ i64 │ ╞═════╪═════╪═════╪══════╡ │ 1 ┆ 10 ┆ 100 ┆ 1000 │ │ 1 ┆ 10 ┆ 100 ┆ 1000 │ │ 1 ┆ 10 ┆ 100 ┆ 1000 │ │ 1 ┆ 10 ┆ 100 ┆ 1000 │ └─────┴─────┴──────┴──────┘ 低效方法得到的除法结果 (divided_df_inefficient): shape: (4, 4) ┌─────┬─────┬──────┬───────┐ │ a ┆ b ┆ c ┆ d │ │ --- ┆ --- ┆ --- ┆ --- │ │ f64 ┆ f64 ┆ f64 ┆ f64 │ ╞═════╪═════╪══════╪═══════╡ │ 1.0 ┆ 0.1 ┆ 0.01 ┆ 0.001 │ │ 2.0 ┆ 0.2 ┆ 0.02 ┆ 0.002 │ │ 3.0 ┆ 0.3 ┆ 0.03 ┆ 0.003 │ │ 4.0 ┆ 0.4 ┆ 0.04 ┆ 0.004 │ └─────┴─────┴──────┴───────┘
这种方法虽然能得到正确的结果，但其缺点显而易见：当 df 包含大量行时，divisors_as_big_as_df 会占用大量的内存，并且 pl.concat 操作本身也可能非常耗时，严重影响性能。
Polars提供了更高效的机制来处理这类问题，即通过with_columns结合列表达式。我们可以遍历目标DataFrame的每一列，然后将该列与divisors DataFrame中对应列的单个值进行除法运算。Polars的表达式引擎能够智能地将这个单值广播到整列。
# 高效方法：使用with_columns进行列式除法
divided_df_efficient = df.with_columns(
# 使用字典推导式为每一列生成新的表达式
**{col: pl.col(col) / divisors[f"d{i+1}"]
for (i, col) in enumerate(df.columns)}
)
print("\n高效方法得到的除法结果 (divided_df_efficient):")
print(divided_df_efficient)输出：
高效方法得到的除法结果 (divided_df_efficient): shape: (4, 4) ┌─────┬─────┬──────┬───────┐ │ a ┆ b ┆ c ┆ d │ │ --- ┆ --- ┆ --- ┆ --- │ │ f64 ┆ f64 ┆ f64 ┆ f64 │ ╞═════╪═════╪══════╪═══════╡ │ 1.0 ┆ 0.1 ┆ 0.01 ┆ 0.001 │ │ 2.0 ┆ 0.2 ┆ 0.02 ┆ 0.002 │ │ 3.0 ┆ 0.3 ┆ 0.03 ┆ 0.003 │ │ 4.0 ┆ 0.4 ┆ 0.04 ┆ 0.004 │ └─────┴─────┴──────┴───────┘
这种方法的优势包括：
在Polars中对DataFrame进行列式除法，尤其是当除数来源于一个单行DataFrame时，最推荐的方法是利用 with_columns 结合字典推导式和Polars的表达式系统。这种方法不仅能够提供卓越的性能和内存效率，还能使代码更加清晰和易于维护。通过避免不必要的DataFrame复制和拼接操作，我们可以充分发挥Polars在处理大规模数据时的强大能力。
以上就是Polars DataFrame高效列式除法实践：利用单行数据进行优化的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
352
收藏
