Python大数据集嵌套循环性能优化：高效查找重复数据的策略

import csv

file_path = 'data.csv'
data = []
with open(file_path, 'r') as file:
    reader = csv.reader(file)
    for row in reader:
        data.append(row)

matching_pairs = []
# 这是一个O(N^2)复杂度的操作
for i in range(len(data)):
    for j in range(i + 1, len(data)):
        if data[i][0] == data[j][0]:
            # 记录重复对中第一个元素的索引
            matching_pairs.append(i)

output_file = 'matching_pairs.txt'
with open(output_file, 'w') as file:
    for pair_index in matching_pairs:
        file.write(f'{pair_index}\n')

import pandas as pd

# 模拟数据
df = pd.DataFrame({'val': [1, 2, 1, 2, 3, 3, 4], 'data': ['A', 'B', 'C', 'D', 'E', 'F', 'G']})

# 使用groupby查找重复项
# sort=False 可以避免在分组过程中进行不必要的排序，提高性能
groups = df.groupby('val', sort=False)
results = []
for name, group in groups: # name是组的键（即'val'列的值），group是该组的DataFrame
    if len(group) > 1: # 如果组的长度大于1，说明该'val'值有重复
        # 记录除了最后一个重复项之外的所有索引
        # 这与原始问题中“记录重复对中第一个元素的索引”的意图保持一致
        results.extend(group.index[:-1])
print(results)
# 输出: [0, 1, 4]
# 解释:
# val=1 的索引是 [0, 2]，[:-1] 得到 [0]
# val=2 的索引是 [1, 3]，[:-1] 得到 [1]
# val=3 的索引是 [4, 5]，[:-1] 得到 [4]

from collections import defaultdict

# 模拟数据，这里简化为只包含需要比较的值的列表
data = [1, 2, 1, 2, 3, 3, 4]
matching_pairs = []
groups = defaultdict(list) # 默认值是一个空列表

# 第一次遍历：构建值到索引列表的映射 (O(N)操作)
for i in range(len(data)):
    groups[data[i]].append(i) # 将当前元素的索引添加到对应值的列表中

# 第二次遍历：查找并记录重复项的索引 (O(N)操作，取决于唯一值的数量)
for group_indices in groups.values():
    if len(group_indices) > 1: # 如果某个值对应的索引列表长度大于1，