Pandas教程：高效生成基于分组的唯一复合ID

问题描述

在数据处理中，我们经常遇到需要为数据帧中的记录生成唯一标识符的情况。有时，这个唯一标识符需要基于现有列的组合，并且在特定分组内保持唯一性。例如，给定一个包含name和id两列的数据帧：

我们希望生成一个名为ID_new的新列，其格式为原始ID_序号。其中，序号是针对每个原始ID分组内部，根据Name列的不同实例分配的唯一递增数字。例如，对于ID=1的分组，Name='A'第一次出现时为1_1，Name='E'出现时为1_2。如果Name='A'再次出现，其ID_new仍然是1_1，因为它与第一次出现的'A'是同一个实例。

期望的输出如下：

传统的ngroup()方法在处理数万甚至更多分组时可能效率低下。而cumcount()虽然能生成递增序号，但它会为每个实例简单地递增，无法满足“相同Name在同一ID组内保持相同序号”的需求。

解决方案：结合 groupby().transform() 与 pd.factorize()

解决此问题的核心在于利用pandas.factorize函数在每个分组内为Name列的不同值分配唯一的数字编码，然后将这些编码与原始ID进行拼接。

WeShop唯象

WeShop唯象是国内首款AI商拍工具，专注电商产品图片的智能生成。

113

查看详情

pd.factorize(values)函数能够将一个序列中的唯一值映射为一组整数编码。例如，pd.factorize(['A', 'B', 'A', 'C'])会返回(array([0, 1, 0, 2]), array(['A', 'B', 'C']))。我们只需要其中的整数编码部分。

groupby().transform()则允许我们在分组操作后，返回一个与原始数据帧具有相同索引和长度的Series或DataFrame，这使得结果可以直接赋值给新列。

实施步骤

1. 准备数据帧： 首先，创建一个示例数据帧来模拟问题场景。
2. 定义编码函数： 创建一个lambda函数，利用pd.factorize对传入的Series进行编码，并将其结果加1（通常为了从1开始计数）。
3. 分组并转换： 使用df.groupby('ID')['Name'].transform(f)对数据帧按ID列进行分组，然后对每个分组的Name列应用我们定义的编码函数f。
4. 类型转换： 将编码结果转换为字符串类型，以便后续拼接。
5. 拼接字符串： 将原始ID列（转换为字符串）与生成的序号列通过下划线_进行拼接，生成最终的ID_new列。

示例代码

import pandas as pd

# 1. 准备数据帧
data = {
    'Name': ['A', 'B', 'A', 'C', 'B', 'D', 'E', 'F'],
    'ID': [1, 2, 1, 3, 2, 3, 1, 2]
}
df = pd.DataFrame(data)

print("原始数据帧:")
print(df)
print("-" * 30)

# 2. 定义编码函数
# pd.factorize(x)[0] 返回一个整数数组，表示x中每个元素的唯一编码
# 加1是为了让编码从1开始，而不是从0开始
f = lambda x: pd.factorize(x)[0] + 1

# 3. 分组并转换
# df.groupby('ID')['Name']：按'ID'分组，并选择'Name'列进行操作
# .transform(f)：将函数f应用到每个分组，并返回一个与原始DataFrame长度相同的Series
s = df.groupby('ID')['Name'].transform(f)

# 4. 类型转换：将生成的序号转换为字符串类型
s = s.astype(str)

# 5. 拼接字符串：将原始ID（转换为字符串）与序号字符串拼接
df['ID_new'] = df['ID'].astype(str).str.cat(s, sep='_')

print("生成ID_new后的数据帧:")
print(df)

代码输出

原始数据帧:
  Name  ID
0    A   1
1    B   2
2    A   1
3    C   3
4    B   2
5    D   3
6    E   1
7    F   2
------------------------------
生成ID_new后的数据帧:
  Name  ID ID_new
0    A   1    1_1
1    B   2    2_1
2    A   1    1_1
3    C   3    3_1
4    B   2    2_1
5    D   3    3_2
6    E   1    1_2
7    F   2    2_2

注意事项与总结

• pd.factorize() 的作用： factorize函数是此解决方案的关键。它能高效地为序列中的唯一值分配一个从0开始的整数编码。在本例中，我们通过+ 1使其从1开始计数，更符合常见的序号习惯。
• groupby().transform() 的优势： transform方法确保了应用分组函数后，返回的Series或DataFrame能够与原始数据帧的索引对齐，从而可以直接用于创建新列。这与apply方法不同，apply通常返回一个聚合结果或一个不同形状的数据结构。
• 效率考量： 相比于在Python循环中手动生成序号，pd.factorize()是C语言实现的，效率极高。结合groupby().transform()，这种方法在大规模数据集上表现出卓越的性能，有效解决了ngroup()在大数据量下可能遇到的性能瓶颈。
• 灵活性： 这种方法不仅限于Name列，可以应用于任何需要在分组内基于另一列生成唯一序号的场景。
• 数据类型： 在进行字符串拼接之前，务必将涉及的列转换为字符串类型，以避免潜在的类型错误。Series.astype(str)和Series.str.cat()是处理这类任务的便捷方法。

通过这种结合pd.factorize()和groupby().transform()的方法，我们能够高效、准确地为Pandas数据帧中的分组数据生成满足特定需求的唯一复合ID，即便面对大规模数据集也能保持良好的性能。

以上就是Pandas教程：高效生成基于分组的唯一复合ID的详细内容，更多请关注php中文网其它相关文章！