Pandas DataFrame行内重复值检测与提取教程-Python教程-PHP中文网

Pandas DataFrame行内重复值检测与提取教程

霞舞

发布： 2025-09-14 09:39:10

原创

444人浏览过

Pandas DataFrame行内重复值检测与提取教程

本教程详细介绍了如何在Pandas DataFrame中识别并提取包含行内重复值的行。通过使用set_index、transform结合duplicated函数以及条件索引，我们能够高效地筛选出具有多个相同值的行，并根据需求分别获取行中非重复值部分（或首次出现值）或仅包含重复值的部分，为数据清洗和分析提供实用方法。

在数据处理和分析中，我们经常会遇到需要识别dataframe中特定行内是否存在重复值的情况。例如，在一个包含多个数值列的dataframe中，我们可能需要找出那些在num1到num7这些列中包含至少两个相同值的行。此外，根据分析需求，我们可能希望提取这些行中非重复的部分，或者只提取那些重复出现的值。本教程将详细介绍如何使用pandas库实现这一目标。

1. 场景与问题描述

假设我们有一个Pandas DataFrame，其中包含一个Row_Num列作为行标识符，以及Num1到Num7等多列数值数据。我们的目标是：

找出在Num1到Num7列中包含至少两个相同值的行。
对于这些被识别的行，提取其非重复值部分（包括首次出现的重复值）。
对于这些被识别的行，提取其重复值部分（即第二次及以后出现的相同值）。

以下是示例数据：

import numpy as np
import pandas as pd

df = pd.DataFrame([[1,1,2,4,5,6,7,7],
            [2,5,6,7,22,23,34,48],
            [3,3,5,6,7,45,46,48],
            [4,6,7,14,29,32,6,29], # 第4行：6和29是重复值
            [5,6,7,13,23,33,35,7], # 第5行：7是重复值（但只有一个重复，不满足“多于1个”的条件）
            [6,1,6,7,8,9,10,8],
            [7,0,2,5,7,19,7,5]], # 第7行：7和5是重复值
            columns = ['Row_Num', 'Num1','Num2','Num3','Num4','Num5','Num6','Num7'])

print("原始DataFrame:\n", df)

登录后复制

根据上述数据，第4行 ([4,6,7,14,29,32,6,29]) 中，值6和29各出现了两次。第7行 ([7,0,2,5,7,19,7,5]) 中，值7和5各出现了两次。第5行虽然有7重复，但只有一个重复值，不满足“多于1个”的条件，因此在最终结果中不会被包含。

2. 解决方案步骤

我们将通过以下步骤实现上述目标：

2.1 设置索引并识别行内重复值

首先，为了方便地通过行号识别和操作数据，我们将Row_Num列设置为DataFrame的索引。接着，我们使用DataFrame.transform()方法结合Series.duplicated()函数来检测每行中的重复值。duplicated()函数默认keep='first'，这意味着它会将第一次出现的值标记为False，而将后续出现的相同值标记为True。

# 将'Row_Num'列设置为索引
df_indexed = df.set_index('Row_Num')

# 使用transform和duplicated识别行内重复值
# axis=1 表示按行应用函数
# 结果是一个布尔型DataFrame，True表示该值是其所在行中的重复值（非首次出现）
df_duplicated_flags = df_indexed.transform(lambda x: x.duplicated(), axis=1)

print("\n设置索引后的DataFrame:\n", df_indexed)
print("\n行内重复值标记 (True表示重复):\n", df_duplicated_flags)

登录后复制

输出解释: df_duplicated_flags将显示一个与df_indexed形状相同的布尔型DataFrame。例如，对于第4行，Num6和Num7对应的值将为True，因为它们是6和29的第二次出现。

2.2 筛选出包含多于一个重复值的行

为了确保我们只处理那些包含“多于1个相同值”的行（即至少有两个重复值，或者说，df_duplicated_flags中至少有两个True），我们需要对df_duplicated_flags的每行求和。

降重鸟

要想效果好，就用降重鸟。AI改写智能降低AIGC率和重复率。

113

查看详情

# 筛选出至少包含两个重复值的行
# sum(axis=1) 计算每行True的数量，即重复值的数量
rows_with_multiple_duplicates = df_duplicated_flags.sum(axis=1) >= 2

print("\n满足条件的行 (至少包含两个重复值):\n", rows_with_multiple_duplicates)

登录后复制

输出解释: 这是一个布尔型Series，标记了哪些Row_Num对应的行满足“至少有两个重复值”的条件。在本例中，Row_Num为4和7的行将被标记为True。

2.3 提取行中非重复值部分（或首次出现值）

现在，我们可以根据rows_with_multiple_duplicates筛选出目标行，并进一步通过~df_duplicated_flags来选择这些行中非重复（或首次出现）的列。~df_duplicated_flags会将True变为False，False变为True，从而选择那些不是第二次及以后出现的重复值。最后，使用dropna(axis=1)移除由于筛选而产生的全NaN列。

# 结果1: 提取包含重复值的行，但只保留非重复部分（或首次出现的值）
# 首先，筛选出满足条件的行：df_indexed[rows_with_multiple_duplicates]
# 然后，对这些行应用列筛选，保留那些在df_duplicated_flags中为False的列（即非重复值或首次出现值）
res1 = df_indexed[rows_with_multiple_duplicates][~df_duplicated_flags[rows_with_multiple_duplicates]].dropna(axis=1)

print("\n结果1 (非重复值或首次出现值部分):\n", res1)

登录后复制

res1输出示例:

         Num1  Num2  Num3  Num4  Num5
Row_Num                              
4           6     7    14    29    32
7           0     2     5     7    19

登录后复制

这对应于原始DataFrame中第4行和第7行，但移除了作为第二次出现的重复值（例如第4行的Num6和Num7）。

2.4 提取行中仅包含重复值的部分

与上一步类似，但这次我们直接使用df_duplicated_flags作为列筛选条件，以保留那些在df_duplicated_flags中标记为True的列（即第二次及以后出现的重复值）。

# 结果2: 提取包含重复值的行，并只保留重复值部分（第二次及以后出现的值）
# 同样先筛选出满足条件的行：df_indexed[rows_with_multiple_duplicates]
# 然后，对这些行应用列筛选，保留那些在df_duplicated_flags中为True的列（即重复值）
res2 = df_indexed[rows_with_multiple_duplicates][df_duplicated_flags[rows_with_multiple_duplicates]].dropna(axis=1)

print("\n结果2 (仅重复值部分):\n", res2)

登录后复制

res2输出示例:

         Num6  Num7
Row_Num

登录后复制

以上就是Pandas DataFrame行内重复值检测与提取教程的详细内容，更多请关注php中文网其它相关文章！