从DataFrame中根据一列的值查找并返回完整行-Python教程-PHP中文网

从DataFrame中根据一列的值查找并返回完整行

花韻仙語

发布： 2025-10-17 11:55:11

原创

152人浏览过

从dataframe中根据一列的值查找并返回完整行

本文旨在提供一种高效的方法，用于在 Pandas DataFrame 中，根据某一列的值查找匹配的行，并返回包含所有列的完整行数据。通过结合正则表达式和 `multimode` 函数，避免了低效的循环，显著提升了查找效率，尤其适用于处理大量文本数据。

在数据分析和处理中，经常需要根据 DataFrame 中某一列的值来查找并提取相关的行数据。例如，给定一个包含产品信息的 DataFrame，我们可能需要查找所有特定类别的产品。本文将介绍一种高效的方法，用于实现这一目标，并返回包含所有列的完整行数据。

方法概述

传统的做法通常是循环遍历 DataFrame 的每一行，然后逐一比较目标列的值。然而，当 DataFrame 的规模很大时，这种方法的效率会变得非常低下。本文介绍的方法，通过结合正则表达式和 multimode 函数，避免了显式的循环，从而显著提升了查找效率。

详细步骤

构建正则表达式： 首先，从 DataFrame 的目标列中提取所有唯一值，并使用这些值构建一个正则表达式。这个正则表达式可以匹配目标列中的任何一个值。为了避免正则表达式中的特殊字符造成干扰，需要对提取的值进行转义。
查找匹配项： 使用构建好的正则表达式，在目标文本中查找所有匹配项。
找出最常见的匹配项： 使用 multimode 函数找出在目标文本中最常见的匹配项。multimode 函数可以处理多个最常见值的情况，返回一个列表。

一键职达
AI全自动批量代投简历软件，自动浏览招聘网站从海量职位中用AI匹配职位并完成投递的全自动操作，真正实现'一键职达'的便捷体验。

79

查看详情
返回匹配的行： 使用 isin 函数筛选 DataFrame，返回目标列的值包含最常见匹配项的所有行。

代码示例

以下是一个完整的代码示例，演示了如何使用上述方法在 DataFrame 中查找匹配的行：

import re
from statistics import multimode
import pandas as pd

# 示例 DataFrame
data = {'cat0': ['x0', 'x1', 'x2', 'x3', 'x4'],
        'cat1': ['Two', 'Seven', 'Eight', 'Eight', 'twelve'],
        'cat2': ['y0', 'y1', 'y2', 'y2', 'y7']}
A = pd.DataFrame(data)

def subject_findall(string, df=A):
    """
    在 DataFrame 中查找匹配的行，并返回包含所有列的完整行数据。

    Args:
        string: 目标文本。
        df: Pandas DataFrame。

    Returns:
        Pandas DataFrame，包含匹配的行。
    """
    s = df['cat1'].str.replace(r"[^nA-Za-z-ÖØ-öø-ÿ+]+", "",
                               regex=True).str.lower()
    words = set(s)
    regex = '|'.join(map(re.escape, words))
    top = multimode(re.findall(regex, string.lower()))
    if not top:
        return 'nosubjectfound'
    else:
        print(f'most common: {", ".join(top)}')
        return df[s.isin(top)]

# 示例文本
text = 'This is an example with Seven Two Seven and Eight Eight.'

# 调用函数并打印结果
out = subject_findall(text)
print(out)

登录后复制

代码解释：

re.sub(r"[^nA-Za-z-ÖØ-öø-ÿ+]+", "", regex=True).str.lower(): 将 cat1 列中的非字母字符替换为空，并将所有字符转换为小写，以便进行不区分大小写的匹配。
words = set(s): 提取 cat1 列中的所有唯一值。
regex = '|'.join(map(re.escape, words)): 使用唯一值构建正则表达式，并对每个值进行转义，以避免特殊字符造成干扰。
top = multimode(re.findall(regex, string.lower())): 在目标文本中查找所有匹配项，并使用 multimode 函数找出最常见的匹配项。
df[s.isin(top)]: 筛选 DataFrame，返回 cat1 列的值包含最常见匹配项的所有行。

输出结果：

most common: seven, eight
  cat0   cat1 cat2
1   x1  Seven   y1
2   x2  Eight   y2
3   x3  Eight   y2

登录后复制

注意事项

正则表达式的性能： 当目标列包含大量唯一值时，构建的正则表达式可能会变得非常复杂，从而影响性能。在这种情况下，可以考虑使用其他更高效的查找方法，例如使用哈希表。
文本预处理： 在构建正则表达式之前，需要对目标列和目标文本进行适当的预处理，例如去除标点符号、转换为小写等，以确保匹配的准确性。
多重模式： multimode 函数返回一个列表，其中包含所有最常见的元素。在上面的代码中，返回的 DataFrame 包含所有匹配其中任何一个最常见元素的行。