Pandas中基于多列生成唯一复合ID的策略

1. 问题描述

在数据处理中，我们经常遇到需要为dataframe中的记录生成唯一标识符的场景。假设我们有一个包含name和id两列的dataframe，其结构如下：

可以看到，原始的ID列并非在所有上下文中都是唯一的。例如，ID=1对应了Name='A'和Name='E'，而ID=3则对应了Name='C'和Name='D'。我们的目标是创建一个新的ID_new列，使得在每个原始ID的分组内，每一个不同的Name实例都能获得一个唯一的序列号，并与原始ID拼接，形成类似原始ID_序列号的格式。期望的输出结果如下：

需要注意的是，传统的ngroup()方法在处理大规模数据集（例如超过35,000个ID）时可能效率不高，而cumcount()虽然能生成序列号，但它会为每个实例递增，无法实现对相同Name在同一ID分组内保持相同序列号的需求。例如，ID=1的第一个A和第二个A都应是1_1，而cumcount()会生成1_1和1_2。

2. 解决方案：结合groupby().transform()与pd.factorize()

为了解决上述问题，我们可以巧妙地利用Pandas的groupby().transform()方法结合pd.factorize()函数。factorize()能够将Series中的唯一值编码成数值，并返回一个整数数组和唯一值的数组。当它应用于groupby().transform()时，我们可以在每个分组内部对指定列的唯一值进行编码，从而生成分组内的唯一序列号。

2.1 示例数据准备

首先，我们创建上述问题的示例DataFrame：

import pandas as pd

data = {
    'Name': ['A', 'B', 'A', 'C', 'B', 'D', 'E', 'F'],
    'ID': [1, 2, 1, 3, 2, 3, 1, 2]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

输出:

WeShop唯象

WeShop唯象是国内首款AI商拍工具，专注电商产品图片的智能生成。

113

查看详情

原始DataFrame:
  Name  ID
0    A   1
1    B   2
2    A   1
3    C   3
4    B   2
5    D   3
6    E   1
7    F   2

2.2 生成分组内序列号

接下来，我们使用groupby('ID')对DataFrame按ID列进行分组。在每个分组内部，我们对Name列应用一个Lambda函数，该函数利用pd.factorize()来为分组内不同的Name生成唯一的序列号。transform()方法确保了结果Series的索引与原始DataFrame对齐。

# 定义一个Lambda函数，用于factorize并转换为1-based索引
f = lambda x: pd.factorize(x)[0] + 1

# 对'ID'分组，并在每个分组内对'Name'进行factorize编码
# transform确保结果Series与原始DataFrame的行数相同，并正确对齐
s = df.groupby('ID')['Name'].transform(f).astype(str)
print("\n分组内Name的序列号:")
print(s)

输出:

分组内Name的序列号:
0    1
1    1
2    1
3    1
4    1
5    2
6    2
7    2
Name: Name, dtype: object

解释:

• pd.factorize(x)返回一个元组，第一个元素是编码后的整数数组（从0开始），第二个元素是唯一的原始值数组。我们只需要编码后的整数数组，所以使用[0]。
• + 1是为了将序列号从0-based转换为1-based，使其更符合人类阅读习惯。
• astype(str)将序列号转换为字符串，为后续的字符串拼接做准备。

2.3 拼接生成新的复合ID

最后一步是将原始的ID列（转换为字符串）与上一步生成的序列号Series s进行拼接，使用下划线_作为分隔符。

df['ID_new'] = df['ID'].astype(str).str.cat(s, sep='_')
print("\n最终结果DataFrame:")
print(df)

输出:

最终结果DataFrame:
  Name  ID ID_new
0    A   1    1_1
1    B   2    2_1
2    A   1    1_1
3    C   3    3_1
4    B   2    2_1
5    D   3    3_2
6    E   1    1_2
7    F   2    2_2

3. 完整代码示例

将上述步骤整合，得到完整的解决方案代码：

import pandas as pd

# 示例数据
data = {
    'Name': ['A', 'B', 'A', 'C', 'B', 'D', 'E', 'F'],
    'ID': [1, 2, 1, 3, 2, 3, 1, 2]
}
df = pd.DataFrame(data)

# 1. 定义factorize函数并转换为1-based序列
f = lambda x: pd.factorize(x)[0] + 1

# 2. 按'ID'分组，对'Name'进行factorize编码，并使用transform对齐结果
# 将结果转换为字符串类型
s = df.groupby('ID')['Name'].transform(f).astype(str)

# 3. 将原始'ID'（转换为字符串）与生成的序列号进行拼接
df['ID_new'] = df['ID'].astype(str).str.cat(s, sep='_')

print("生成唯一复合ID后的DataFrame:")
print(df)

4. 关键函数解析

• pandas.factorize(values):
  • 功能：将一个Series或数组中的唯一值编码为数值类型。
  • 返回：一个元组(codes, uniques)。codes是一个整数数组，表示每个原始值对应的编码；uniques是一个数组，包含所有唯一的原始值。
  • 在本例中，pd.factorize(x)[0]获取了编码后的整数数组，这些整数从0开始，为分组内的每个唯一Name分配一个唯一的数字。
• GroupBy.transform(func):
  • 功能：对分组对象应用一个函数，并返回一个与原始DataFrame（或Series）具有相同索引的Series或DataFrame。
  • 优点：它将分组操作的结果“广播”回原始DataFrame的结构，确保了结果与原始数据行的对齐，这对于创建新列非常有用。
  • 在本例中，transform(f)将factorize操作应用到每个ID分组的Name列，并将生成的序列号正确地映射回原始的每一行。
• Series.str.cat(others, sep=None, na_rep=None):
  • 功能：将Series中的字符串元素与其他字符串、Series或列表中的字符串进行拼接。
  • 参数：sep指定拼接时的分隔符。
  • 在本例中，df['ID'].astype(str).str.cat(s, sep='_')将ID列的字符串表示和序列号Series s的字符串表示通过_连接起来。

5. 注意事项与总结

• 数据类型转换: 在使用str.cat()进行字符串拼接之前，务必确保所有参与拼接的Series都已转换为字符串类型（例如通过astype(str)），否则可能引发类型错误。
• 性能: pd.factorize()是一个高度优化的函数，在处理大量数据时表现出色。结合groupby().transform()，这种方法能够高效地完成分组内的唯一编码任务，即使面对数万甚至数十万条记录也能保持良好的性能。
• 可读性与灵活性: 这种方法代码简洁，逻辑清晰。通过修改f函数，可以灵活调整序列号的起始值或编码逻辑。
• 与cumcount()的区别: cumcount()为每个分组内的每个实例简单地递增计数，而factorize()则关注分组内唯一值的编码。因此，当需要为分组内的相同值分配相同的序列号时，factorize()是更优的选择。

通过上述方法，我们成功地为DataFrame中的记录创建了满足特定需求的唯一复合ID，克服了传统方法在特定场景下的局限性，提供了一个高效且灵活的解决方案。

以上就是Pandas中基于多列生成唯一复合ID的策略的详细内容，更多请关注php中文网其它相关文章！