Polars中高效集成Matplotlib颜色映射（CMaps）的实践指南

本文旨在探讨如何在Polars DataFrame中高效地利用Matplotlib颜色映射（CMaps）创建颜色列表列。我们将对比两种主要方法：`map_elements` 和 `map_batches`，并详细阐述 `map_batches` 如何通过批量处理显著提升性能，从而实现更快速、更优化的颜色数据生成流程。

在数据可视化领域，经常需要根据数值列生成对应的颜色表示。Matplotlib的颜色映射（CMaps）提供了一种便捷的方式，将浮点数映射到RGBA颜色值。当我们需要在Polars DataFrame中实现这一功能时，性能优化是关键考量。

初始方法：使用 map_elements

一种直观的方法是使用Polars的 map_elements 方法，它允许对DataFrame的每个元素应用一个自定义函数。以下是一个典型的实现示例，它将一个浮点数列转换为RGBA颜色列表：

import matplotlib as mpl
import polars as pl

# 定义一个简单的颜色映射
cmap1 = mpl.colors.LinearSegmentedColormap.from_list("GreenBlue", ["limegreen", "blue"])

# 示例DataFrame
data = pl.DataFrame(
    {
        "floatCol": [12, 135.8, 1235.263, 15.236],
        "boolCol": [True, True, False, False]
    }
)

# 使用 map_elements 应用颜色映射
data_with_elements = data.with_columns(
    (pl.col("floatCol") / 100) # 对数值进行归一化或缩放
    .map_elements(cmap1) # 对每个元素应用cmap1函数
    .alias("color_elements")
)

print("使用 map_elements 的结果:")
print(data_with_elements)

尽管 map_elements 在功能上可行，但其缺点在于它以逐行（或逐元素）的方式调用Python函数。对于大型数据集，这种操作会引入显著的Python解释器开销，导致性能下降。当函数涉及外部库（如Matplotlib）的调用时，这种开销尤为明显。

优化方法：利用 map_batches 提升性能

Polars提供了 map_batches 方法，旨在解决 map_elements 的性能瓶颈。map_batches 不再逐元素处理，而是将数据分成批次（batches），然后对每个批次应用自定义函数。这种批量处理的方式可以显著减少Python函数调用的次数，并允许函数内部对整个批次进行更高效的操作，从而大幅提升执行效率。

以下是如何将上述示例优化为使用 map_batches：

艺映AI

艺映AI - 免费AI视频创作工具

62

查看详情

# 导入必要的库已在上面完成
# cmap1 和 data DataFrame 也已定义

# 使用 map_batches 应用颜色映射
data_with_batches = data.with_columns(
    (pl.col("floatCol") / 100) # 对数值进行归一化或缩放
    .map_batches(lambda x: pl.Series(cmap1(x))) # 对每个批次应用cmap1函数，并包装回pl.Series
    .alias("color_batches")
)

print("\n使用 map_batches 的结果:")
print(data_with_batches)

关键点解析：

1. map_batches(lambda x: pl.Series(cmap1(x))):
   • lambda x: x 在这里代表一个数据批次，通常是一个Polars Series或其底层的Arrow/NumPy数组。
   • cmap1(x): Matplotlib的颜色映射函数（如LinearSegmentedColormap的实例）通常能够直接接受一个数组作为输入，并返回一个对应形状的RGBA颜色数组。这是性能提升的关键，因为它避免了Python级别的循环。
   • pl.Series(...): 由于 map_batches 期望返回一个Polars Series，所以需要将 cmap1(x) 的结果包装回 pl.Series。

结合条件逻辑的完整示例

在实际应用中，我们可能还需要结合条件逻辑来决定何时应用颜色映射。例如，只有当 boolCol 为 True 时才应用颜色映射，否则使用固定的颜色。pl.when().then().otherwise() 结构可以与 map_batches 完美结合。

import matplotlib as mpl
import polars as pl
import numpy as np # 导入numpy，cmap1(x)内部可能用到

# 定义颜色映射
cmap1 = mpl.colors.LinearSegmentedColormap.from_list("GreenBlue", ["limegreen", "blue"])

# 示例DataFrame
data = pl.DataFrame(
    {
        "floatCol": [12, 135.8, 1235.263, 15.236],
        "boolCol": [True, True, False, False]
    }
)

# 结合条件逻辑和 map_batches
data_final = data.with_columns(
    pl.when(
        pl.col("boolCol").not_() # 当 boolCol 为 False 时
    )
    .then(
        mpl.colors.to_rgba("r") # 使用红色
    )
    .otherwise(
        (pl.col("floatCol") / 100) # 否则，对 floatCol 进行处理
        .map_batches(lambda x: pl.Series(cmap1(x))) # 使用 map_batches 应用颜色映射
    )
    .alias("c1") # 新列命名为 c1
)

print("\n结合条件逻辑和 map_batches 的最终结果:")
print(data_final)

在这个完整的示例中，我们首先定义了颜色映射和DataFrame。然后，使用 pl.when().then().otherwise() 结构来处理条件逻辑：

• 当 boolCol 为 False 时（即 pl.col("boolCol").not_() 为 True），新列 c1 的值为固定的红色RGBA元组 mpl.colors.to_rgba("r")。
• 当 boolCol 为 True 时，我们对 floatCol 进行归一化处理（除以100），然后通过 map_batches 应用 cmap1 颜色映射。

总结与注意事项

• 性能优先： 在Polars中处理复杂或外部函数时，始终优先考虑使用 map_batches 而非 map_elements。map_batches 能够显著减少Python解释器的开销，特别是在处理大量数据时，性能优势更为突出。
• 函数兼容性： 确保传递给 map_batches 的函数能够接受Polars Series（或其底层数组）作为输入，并返回一个可以被 pl.Series 包装的结果。Matplotlib的颜色映射函数通常具备这种能力。
• 返回类型： map_batches 要求自定义函数返回一个Polars Series。因此，需要将函数的结果显式地包装在 pl.Series() 中。
• 数据类型： Matplotlib的 cmap 函数通常期望浮点数作为输入（通常在0到1之间）。因此，在使用前对原始数值列进行适当的归一化或缩放是常见的做法。

通过掌握 map_batches 的使用，开发者可以在Polars中高效地集成Matplotlib等外部库的功能，从而在处理大规模数据时，依然能够保持出色的性能表现。

以上就是Polars中高效集成Matplotlib颜色映射（CMaps）的实践指南的详细内容，更多请关注php中文网其它相关文章！