使用 Polars 将包含逗号分隔整数的字符串列转换为整数列-Python教程-PHP中文网

使用 Polars 将包含逗号分隔整数的字符串列转换为整数列

花韻仙語

发布： 2025-10-18 09:51:01

原创

295人浏览过

使用 polars 将包含逗号分隔整数的字符串列转换为整数列

本文介绍了如何使用 Polars 库将包含逗号分隔整数的字符串列转换为多个整数列。通过 `.str.strip_chars()`, `.cast(pl.List(pl.Int32))`, `.list.to_struct()` 以及 `.unpivot()` 和 `.pivot()` 等方法，可以高效地实现这一转换，并提供了代码示例进行演示，帮助读者更好地理解和应用。

在数据处理中，经常会遇到将包含逗号分隔数值的字符串列转换为数值列的需求。Polars 提供了多种方法来高效地完成这一任务。本文将介绍几种常用的方法，并提供详细的代码示例。

方法一：使用 str.strip_chars(), str.split(), cast() 和 list.to_struct()

这种方法的核心思想是先去除字符串末尾的逗号，然后将字符串分割成列表，再将列表转换为结构体，最后将结构体展开为多个列。

import polars as pl

df = pl.DataFrame(
    {
        "chrom": ["1", "1", "2", "X"],
        "blockSizes": ["10,29,", "20,22,", "30,25,", "40,23,"],
        "blockStarts": ["0,50,", "0,45,", "0,60,", "0,70,"]
    })

cols = "blockSizes", "blockStarts"

(df.with_columns(
    pl.col(col)
      .str.strip_chars(",")
      .str.split(",")
      .cast(pl.List(pl.Int32))
      .list.to_struct(
         n_field_strategy = "max_width", 
         fields = lambda idx, col=col: f"{col}_{idx}"
      )
    for col in cols
 )
 .unnest(cols)
)

登录后复制

代码解释：

pl.col(col).str.strip_chars(","): 去除指定列 col 中字符串末尾的逗号。
.str.split(","): 将字符串按照逗号分割成字符串列表。
.cast(pl.List(pl.Int32)): 将字符串列表转换为整数列表。
.list.to_struct(...): 将列表转换为结构体，n_field_strategy="max_width" 表示使用列表的最大长度作为结构体的字段数量，fields=lambda idx, col=col: f"{col}_{idx}" 用于动态地为结构体字段命名，例如 blockSizes_0, blockSizes_1。
.unnest(cols): 将结构体展开为多个列。

输出结果：

shape: (4, 5)
┌───────┬──────────────┬──────────────┬───────────────┬───────────────┐
│ chrom ┆ blockSizes_0 ┆ blockSizes_1 ┆ blockStarts_0 ┆ blockStarts_1 │
│ ---   ┆ ---          ┆ ---          ┆ ---           ┆ ---           │
│ str   ┆ i32          ┆ i32          ┆ i32           ┆ i32           │
╞═══════╪══════════════╪══════════════╪═══════════════╪═══════════════╡
│ 1     ┆ 10           ┆ 29           ┆ 0             ┆ 50            │
│ 1     ┆ 20           ┆ 22           ┆ 0             ┆ 45            │
│ 2     ┆ 30           ┆ 25           ┆ 0             ┆ 60            │
│ X     ┆ 40           ┆ 23           ┆ 0             ┆ 70            │
└───────┴──────────────┴──────────────┴───────────────┴───────────────┘

登录后复制

为了代码更简洁，可以定义一个函数来封装上述操作：

def csv_to_struct(col):
    expr = pl.col(col).str.strip_chars(",").str.split(",")
    expr = expr.cast(pl.List(pl.Int32))
    return expr.list.to_struct(
        n_field_strategy = "max_width", 
        fields = lambda idx: f"{col}_{idx}"
    )

cols = "blockSizes", "blockStarts"

df.with_columns(map(csv_to_struct, cols)).unnest(cols)

登录后复制

方法二：使用 unpivot() 和 pivot()

这种方法的核心思想是先将数据进行 unpivot 操作，将多个列合并为一个列，然后对列进行处理，最后再进行 pivot 操作，将数据恢复为原来的形式。

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

查看详情

cols = "blockSizes", "blockStarts"

(df.with_row_index()
   .with_columns(
      pl.col(cols).str.strip_chars(",").str.split(",").cast(pl.List(int))
   )
   .explode(cols)
   .unpivot(index=["index", "chrom"], variable_name="name")
   .with_columns(
      pl.format("{}_{}", 
         "name", 
         pl.col("index").cum_count().over("index", "name") - 1
      )
   )
   .pivot(on="name", index=["index", "chrom"])
)

登录后复制

代码解释：

df.with_row_index(): 添加一个行索引列。
pl.col(cols).str.strip_chars(",").str.split(",").cast(pl.List(int)): 与方法一相同，去除逗号，分割字符串，转换为整数列表。
.explode(cols): 将列表展开为多行。
.unpivot(index=["index", "chrom"], variable_name="name"): 将 blockSizes 和 blockStarts 列 unpivot 为一个名为 name 的列。
.with_columns(...): 创建新的列名，使用 pl.format 结合 pl.col("index").cum_count().over("index", "name") - 1 生成 blockSizes_0, blockSizes_1 等列名。
.pivot(on="name", index=["index", "chrom"]): 将数据 pivot 回原来的形式。

输出结果：

shape: (4, 6)
┌───────┬───────┬──────────────┬──────────────┬───────────────┬───────────────┐
│ index ┆ chrom ┆ blockSizes_0 ┆ blockSizes_1 ┆ blockStarts_0 ┆ blockStarts_1 │
│ ---   ┆ ---   ┆ ---          ┆ ---          ┆ ---           ┆ ---           │
│ u32   ┆ str   ┆ i64          ┆ i64          ┆ i64          ┆ i64           │
╞═══════╪═══════╪══════════════╪══════════════╪═══════════════╪═══════════════╡
│ 0     ┆ 1     ┆ 10           ┆ 29           ┆ 0             ┆ 50            │
│ 1     ┆ 1     ┆ 20           ┆ 22           ┆ 0             ┆ 45            │
│ 2     ┆ 2     ┆ 30           ┆ 25           ┆ 0             ┆ 60            │
│ 3     ┆ X     ┆ 40           ┆ 23           ┆ 0             ┆ 70            │
└───────┴───────┴──────────────┴──────────────┴───────────────┴───────────────┘

登录后复制

总结

本文介绍了两种使用 Polars 将包含逗号分隔整数的字符串列转换为整数列的方法。第一种方法使用了 str.strip_chars(), str.split(), cast() 和 list.to_struct()，思路清晰，易于理解。第二种方法使用了 unpivot() 和 pivot()，代码更简洁，但理解起来可能稍有难度。选择哪种方法取决于具体的需求和个人偏好。在实际应用中，可以根据数据的特点和性能要求选择最适合的方法。

注意事项：