在数据处理和分析中，我们经常会遇到需要识别dataframe中特定行内是否存在重复值的情况。例如，在一个包含多个数值列的dataframe中，我们可能需要找出那些在num1到num7这些列中包含至少两个相同值的行。此外，根据分析需求，我们可能希望提取这些行中非重复的部分，或者只提取那些重复出现的值。本教程将详细介绍如何使用pandas库实现这一目标。
1. 场景与问题描述
假设我们有一个Pandas DataFrame，其中包含一个Row_Num列作为行标识符，以及Num1到Num7等多列数值数据。我们的目标是：
- 找出在Num1到Num7列中包含至少两个相同值的行。
- 对于这些被识别的行，提取其非重复值部分（包括首次出现的重复值）。
- 对于这些被识别的行，提取其重复值部分（即第二次及以后出现的相同值）。
以下是示例数据：
import numpy as np
import pandas as pd
df = pd.DataFrame([[1,1,2,4,5,6,7,7],
[2,5,6,7,22,23,34,48],
[3,3,5,6,7,45,46,48],
[4,6,7,14,29,32,6,29], # 第4行：6和29是重复值
[5,6,7,13,23,33,35,7], # 第5行：7是重复值（但只有一个重复，不满足“多于1个”的条件）
[6,1,6,7,8,9,10,8],
[7,0,2,5,7,19,7,5]], # 第7行：7和5是重复值
columns = ['Row_Num', 'Num1','Num2','Num3','Num4','Num5','Num6','Num7'])
print("原始DataFrame:\n", df)根据上述数据，第4行 ([4,6,7,14,29,32,6,29]) 中，值6和29各出现了两次。第7行 ([7,0,2,5,7,19,7,5]) 中，值7和5各出现了两次。第5行虽然有7重复，但只有一个重复值，不满足“多于1个”的条件，因此在最终结果中不会被包含。
2. 解决方案步骤
我们将通过以下步骤实现上述目标：
2.1 设置索引并识别行内重复值
首先，为了方便地通过行号识别和操作数据，我们将Row_Num列设置为DataFrame的索引。接着，我们使用DataFrame.transform()方法结合Series.duplicated()函数来检测每行中的重复值。duplicated()函数默认keep='first'，这意味着它会将第一次出现的值标记为False，而将后续出现的相同值标记为True。
# 将'Row_Num'列设置为索引
df_indexed = df.set_index('Row_Num')
# 使用transform和duplicated识别行内重复值
# axis=1 表示按行应用函数
# 结果是一个布尔型DataFrame，True表示该值是其所在行中的重复值（非首次出现）
df_duplicated_flags = df_indexed.transform(lambda x: x.duplicated(), axis=1)
print("\n设置索引后的DataFrame:\n", df_indexed)
print("\n行内重复值标记 (True表示重复):\n", df_duplicated_flags)输出解释: df_duplicated_flags将显示一个与df_indexed形状相同的布尔型DataFrame。例如，对于第4行，Num6和Num7对应的值将为True，因为它们是6和29的第二次出现。
2.2 筛选出包含多于一个重复值的行
为了确保我们只处理那些包含“多于1个相同值”的行（即至少有两个重复值，或者说，df_duplicated_flags中至少有两个True），我们需要对df_duplicated_flags的每行求和。
# 筛选出至少包含两个重复值的行
# sum(axis=1) 计算每行True的数量，即重复值的数量
rows_with_multiple_duplicates = df_duplicated_flags.sum(axis=1) >= 2
print("\n满足条件的行 (至少包含两个重复值):\n", rows_with_multiple_duplicates)输出解释: 这是一个布尔型Series，标记了哪些Row_Num对应的行满足“至少有两个重复值”的条件。在本例中，Row_Num为4和7的行将被标记为True。
2.3 提取行中非重复值部分（或首次出现值）
现在，我们可以根据rows_with_multiple_duplicates筛选出目标行，并进一步通过~df_duplicated_flags来选择这些行中非重复（或首次出现）的列。~df_duplicated_flags会将True变为False，False变为True，从而选择那些不是第二次及以后出现的重复值。最后，使用dropna(axis=1)移除由于筛选而产生的全NaN列。
# 结果1: 提取包含重复值的行，但只保留非重复部分（或首次出现的值）
# 首先，筛选出满足条件的行：df_indexed[rows_with_multiple_duplicates]
# 然后，对这些行应用列筛选，保留那些在df_duplicated_flags中为False的列（即非重复值或首次出现值）
res1 = df_indexed[rows_with_multiple_duplicates][~df_duplicated_flags[rows_with_multiple_duplicates]].dropna(axis=1)
print("\n结果1 (非重复值或首次出现值部分):\n", res1)res1输出示例:
Num1 Num2 Num3 Num4 Num5 Row_Num 4 6 7 14 29 32 7 0 2 5 7 19
这对应于原始DataFrame中第4行和第7行，但移除了作为第二次出现的重复值（例如第4行的Num6和Num7）。
2.4 提取行中仅包含重复值的部分
与上一步类似，但这次我们直接使用df_duplicated_flags作为列筛选条件，以保留那些在df_duplicated_flags中标记为True的列（即第二次及以后出现的重复值）。
# 结果2: 提取包含重复值的行，并只保留重复值部分（第二次及以后出现的值）
# 同样先筛选出满足条件的行：df_indexed[rows_with_multiple_duplicates]
# 然后，对这些行应用列筛选，保留那些在df_duplicated_flags中为True的列（即重复值）
res2 = df_indexed[rows_with_multiple_duplicates][df_duplicated_flags[rows_with_multiple_duplicates]].dropna(axis=1)
print("\n结果2 (仅重复值部分):\n", res2)res2输出示例:
Num6 Num7
Row_Num 
