使用 Pandas 根据排名查找和过滤 DataFrame 数据-Python教程-PHP中文网

使用 Pandas 根据排名查找和过滤 DataFrame 数据

DDD

发布： 2025-10-30 11:38:49

原创

816人浏览过

使用 Pandas 根据排名查找和过滤 DataFrame 数据

本教程将详细介绍如何利用 pandas 库高效地处理两个 dataframe，实现根据指定列（`smth`）的排名信息（来源于 `df2`）对另一个主 dataframe（`df1`）进行过滤。核心思路是为 `df1` 中的每个唯一 `code`，找出其关联的 `smth` 中排名最低的行。我们将通过字典映射、`groupby` 和 `idxmin` 方法，避免传统循环，实现高性能的数据筛选。

在数据分析和处理中，我们经常会遇到需要根据某个外部参照表中的排名或优先级信息来筛选主数据表的情况。例如，给定一个包含多个产品代码（code）及其相关属性（如 smth）的 DataFrame，以及另一个定义了 smth 类型及其对应排名的 DataFrame，我们的目标是为每个产品代码，仅保留其所有 smth 类型中排名最低（优先级最高）的那一行数据。本教程将展示如何使用 Pandas 库以一种高效、简洁的方式完成这一任务。

1. 数据准备

首先，我们需要创建示例 DataFrames df1 和 df2，它们模拟了实际场景中的数据结构。

df1 包含主数据，其中 code 列用于分组，smth 列是需要根据排名进行比较的字段。 df2 包含 smth 类型及其对应的 rank。rank 值越小，表示优先级越高。

import pandas as pd

# 主数据 DataFrame (df1)
data1 = {'smth': ['RB', 'Supp', 'DX RT', 'Fk', 'CZFO', 'Supp_t', 'RK', 'rec', 'commerc', 'Supp_t'],
         'code': ['HC-1343958', 'HC-1343958', 'HC-1340305', 'HC-1340305', 'HC-1107001', 'HC-1107001', 'HC-1107001', 'HC-1135154', 'HC-1135154', 'HC-1135154'],
         'product_name': ['ERXY3-400', 'ERXY3-400', 'BWH/S 100 Level PRO', 'BWH/S 100 Level PRO', 'GWH 12 Fonte', 'GWH 12 Fonte', 'GWH 12 Fonte', 'BEC/ETER-1500', 'BEC/ETER-1503', 'BEC/ETER-1505'],
         'digit': [3, 2, 20, 1, 1, 17, 78, 246, 10, 23],
         'changes': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}
df1 = pd.DataFrame(data1)

# 排名参照 DataFrame (df2)
data2 = {'smth': ['rec', 'Supp', 'Supp_t', 'RK', 'CZFO', 'RB'], 'rank': [2, 4, 6, 8, 9, 10]}
df2 = pd.DataFrame(data2)

print("df1:")
print(df1)
print("\ndf2:")
print(df2)

登录后复制

df1 示例输出:

       smth        code         product_name  digit  changes
0        RB  HC-1343958            ERXY3-400      3        1
1      Supp  HC-1343958            ERXY3-400      2        1
2     DX RT  HC-1340305  BWH/S 100 Level PRO     20        1
3        Fk  HC-1340305  BWH/S 100 Level PRO      1        1
4      CZFO  HC-1107001         GWH 12 Fonte      1        1
5    Supp_t  HC-1107001         GWH 12 Fonte     17        1
6        RK  HC-1107001         GWH 12 Fonte     78        1
7       rec  HC-1135154        BEC/ETER-1500    246        1
8   commerc  HC-1135154        BEC/ETER-1503     10        1
9    Supp_t  HC-1135154        BEC/ETER-1505     23        1

登录后复制

df2 示例输出:

     smth  rank
0     rec     2
1    Supp     4
2  Supp_t     6
3      RK     8
4    CZFO     9
5      RB    10

登录后复制

2. 解决方案：使用 Pandas 映射、分组和索引查找

解决此问题的关键在于将 df2 中的排名信息有效地应用到 df1，然后根据 code 进行分组，并找到每个组中具有最低排名的行。

步骤 2.1: 创建 smth 到 rank 的映射字典

为了高效地查找 smth 对应的 rank，我们将 df2 转换为一个字典。字典的键是 smth，值是 rank。

m = dict(df2[['smth', 'rank']].values)
print("映射字典 m:")
print(m)

登录后复制

输出:

映射字典 m:
{'rec': 2, 'Supp': 4, 'Supp_t': 6, 'RK': 8, 'CZFO': 9, 'RB': 10}

登录后复制

步骤 2.2: 将排名信息映射到 df1

使用 df1['smth'].map(m) 将 df1 中 smth 列的值替换为它们在字典 m 中对应的排名。如果 df1 中存在 smth 值不在 m 中，map 函数将默认填充 NaN。

df1_ranks = df1['smth'].map(m)
print("\ndf1 映射后的排名系列:")
print(df1_ranks)

登录后复制

输出:

df1 映射后的排名系列:
0    10.0
1     4.0
2     NaN
3     NaN
4     9.0
5     6.0
6     8.0
7     2.0
8     NaN
9     6.0
Name: smth, dtype: float64

登录后复制

可以看到，DX RT, Fk, commerc 这些 smth 值在 df2 中没有对应的排名，因此被映射为 NaN。

NameGPT名称生成器

免费AI公司名称生成器，AI在线生成企业名称，注册公司名称起名大全。

查看详情

步骤 2.3: 按 code 分组并找到最低排名的行索引

现在，我们将 df1 按 code 列进行分组，并在每个组内，找到 df1_ranks 系列中值最小（即排名最低）的行的原始索引。groupby().idxmin() 方法非常适合此目的。它返回一个 Series，其索引是 code 值，值是 df1 中对应最低排名行的原始索引。

idxmin_indices = df1_ranks.groupby(df1['code']).idxmin()
print("\n每个 code 组中最低排名行的原始索引:")
print(idxmin_indices)

登录后复制

输出:

每个 code 组中最低排名行的原始索引:
code
HC-1107001    5
HC-1135154    7
HC-1340305    2
HC-1343958    1
Name: smth, dtype: int64

登录后复制

例如，对于 HC-1107001，其最低排名行在 df1 中的原始索引是 5。

步骤 2.4: 使用索引过滤 df1

最后，我们使用 idxmin_indices 中包含的原始索引来从 df1 中选择所需的行。df1.index.isin(idxmin_indices) 会生成一个布尔系列，用于筛选 df1。

out = df1[df1.index.isin(idxmin_indices)]
print("\n最终结果 DataFrame (out):")
print(out)

登录后复制

最终结果输出:

     smth        code    product_name  digit  changes
1    Supp  HC-1343958       ERXY3-400      2        1
2   DX RT  HC-1340305  BWH/S 100 Level PRO     20        1
5  Supp_t  HC-1107001         GWH 12 Fonte     17        1
7     rec  HC-1135154        BEC/ETER-1500    246        1

登录后复制

结果分析: 让我们以 code 为 HC-1343958 为例：

df1 中有两行：索引 0 (smth='RB', rank=10) 和索引 1 (smth='Supp', rank=4)。
idxmin_indices 为 HC-1343958 找到的索引是 1，因为 Supp 的排名 4 低于 RB 的排名 10。
因此，最终结果 out 中保留了索引为 1 的行。

对于 HC-1340305：

df1 中有两行：索引 2 (smth='DX RT', rank=NaN) 和索引 3 (smth='Fk', rank=NaN)。
当 groupby().idxmin() 遇到 NaN 值时，它会选择第一个非 NaN 值。如果所有值都是 NaN，它会选择第一个 NaN 值的索引。在这里，DX RT 和 Fk 都没有排名，它们都被映射为 NaN。idxmin 在遇到多个相同最小值（包括 NaN）时，会返回第一个出现的索引。因此，它选择了索引 2。

3. 完整代码示例

将上述步骤整合到一起，得到完整的解决方案代码：

import pandas as pd

# 1. 数据准备
data1 = {'smth': ['RB', 'Supp', 'DX RT', 'Fk', 'CZFO', 'Supp_t', 'RK', 'rec', 'commerc', 'Supp_t'],
         'code': ['HC-1343958', 'HC-1343958', 'HC-1340305', 'HC-1340305', 'HC-1107001', 'HC-1107001', 'HC-1107001', 'HC-1135154', 'HC-1135154', 'HC-1135154'],
         'product_name': ['ERXY3-400', 'ERXY3-400', 'BWH/S 100 Level PRO', 'BWH/S 100 Level PRO', 'GWH 12 Fonte', 'GWH 12 Fonte', 'GWH 12 Fonte', 'BEC/ETER-1500', 'BEC/ETER-1503', 'BEC/ETER-1505'],
         'digit': [3, 2, 20, 1, 1, 17, 78, 246, 10, 23],
         'changes': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}
df1 = pd.DataFrame(data1)

data2 = {'smth': ['rec', 'Supp', 'Supp_t', 'RK', 'CZFO', 'RB'], 'rank': [2, 4, 6, 8, 9, 10]}
df2 = pd.DataFrame(data2)

print("原始 df1:")
print(df1)
print("\n原始 df2:")
print(df2)

# 2. 解决方案核心逻辑
# 2.1 创建 smth 到 rank 的映射字典
m = dict(df2[['smth', 'rank']].values)

# 2.2 将排名信息映射到 df1 的 smth 列
# 注意：如果 df1 中有 smth 不在 df2 中，映射结果会是 NaN
mapped_ranks = df1['smth'].map(m)

# 2.3 按 'code' 分组，并找到每个组中最低排名的行索引
# idxmin() 返回的是原始 df1 中的行索引
idxmin_indices = mapped_ranks.groupby(df1['code']).idxmin()

# 2.4 使用这些索引过滤 df1
# 注意：idxmin_indices 是一个 Series，其值是 df1 的索引。
# 使用 df1.index.isin(idxmin_indices) 来进行布尔索引。
out = df1[df1.index.isin(idxmin_indices)]

print("\n最终结果 DataFrame:")
print(out)

登录后复制

4. 注意事项与优化

处理缺失排名（NaN）:
- 如果 df1 中的 smth 值在 df2 中没有对应排名，map 操作会生成 NaN。idxmin() 默认会忽略 NaN 值，只在非 NaN 值中寻找最小值。如果一个 code 组中的所有 smth 值都没有排名（都是 NaN），idxmin() 会返回该组中第一个 NaN 值的索引。
- 如果希望排除所有没有排名的行，可以在 mapped_ranks 上应用 dropna() 或在过滤前添加条件。例如，idxmin_indices = mapped_ranks.dropna().groupby(df1['code']).idxmin()。
性能:
- 此方法避免了显式的 for 循环，充分利用了 Pandas 的向量化操作，因此在大数据集上具有优异的性能。
- 创建映射字典 m 是一种高效的查找方式，比每次循环查询 DataFrame 更快。
多重最低排名:
- 如果一个 code 组中存在多个 smth 值具有相同的最低排名，idxmin() 会返回这些具有最低排名的行中，在原始 df1 中最先出现的那个行的索引。如果需要保留所有具有最低排名的行，则需要使用不同的方法，例如先 groupby 后 transform('min') 得到每个组的最低排名，然后进行条件筛选。

5. 总结

本教程展示了如何使用 Pandas 的 map()、groupby() 和 idxmin() 组合功能，高效地根据外部排名信息筛选 DataFrame。这种方法不仅代码简洁，而且在处理大规模数据时表现出卓越的性能。理解这些核心 Pandas 函数的用法，是进行复杂数据操作的关键。通过灵活运用这些工具，可以解决各种数据筛选和转换的挑战。

以上就是使用 Pandas 根据排名查找和过滤 DataFrame 数据的详细内容，更多请关注php中文网其它相关文章！