高效统计Pandas DataFrame行内元素组合频率

import itertools
from collections import Counter
import pandas as pd

# 创建示例数据
df = pd.DataFrame([
    [2, 10, 18, 31, 41],
    [12, 27, 28, 39, 42],
    [12, 4, 18, 6, 41]
])

print("原始DataFrame:")
print(df)

def get_combinations(row):
    """
    为给定行生成所有可能的元素组合。
    组合长度从1到行中元素的总数。
    """
    all_combs = []
    # 遍历所有可能的组合长度 (1到行长度)
    for i in range(1, len(row) + 1):
        # 使用itertools.combinations生成指定长度的组合
        for c in itertools.combinations(row, i):
            all_combs.append(c)
    return all_combs

# 将get_combinations函数应用到DataFrame的每一行 (axis=1)
# 结果将作为一个新的列添加到DataFrame中
df["all_combs"] = df.apply(get_combinations, axis=1)

print("\n带有所有组合列的DataFrame:")
print(df)

# 展平所有组合列表，然后使用Counter统计频率
# 这是一个嵌套的生成器表达式，高效地迭代所有组合
cnt = Counter(c for combs in df["all_combs"] for c in combs)

print("\n所有组合的频率统计 (Counter对象):")
print(cnt)

# 将Counter对象转换为Pandas DataFrame
df_counts = pd.DataFrame({"combination": cnt.keys(), "count": cnt.values()})

# 按照计数降序排列，以便查看最常见的组合
df_counts = df_counts.sort_values(by="count", ascending=False).reset_index(drop=True)

print("\n组合频率统计DataFrame:")
print(df_counts)

import itertools
from collections import Counter
import pandas as pd

# 1. 创建示例数据
df = pd.DataFrame([
    [2, 10, 18, 31, 41],
    [12, 27, 28, 39, 42],
    [12, 4, 18, 6, 41]
])

print("原始DataFrame:")
print(df)

# 2. 定义函数：逐行生成所有组合
def get_combinations(row):
    """
    为给定行生成所有可能的元素组合。
    组合长度从1到行中元素的总数。
    """
    # 使用列表推导式更简洁地生成所有组合
    all_combs = [c for i in range(1, len(row) + 1) for c in itertools.combinations(row, i)]
    return all_combs

# 将get_combinations函数应用到DataFrame的每一行 (axis=1)
df["all_combs"] = df.apply(get_combinations, axis=1)

print("\n带有所有组合列的DataFrame:")
print(df)

# 3. 汇总并统计组合频率
# 展平所有组合列表，然后使用Counter统计频率
cnt = Counter(c for combs in df["all_combs"] for c in combs)

print("\n所有组合的频率统计 (Counter对象):")
print(cnt)

# 4. 结果格式化为DataFrame
df_counts = pd.DataFrame({"combination": cnt.keys(), "count": cnt.values()})
df_counts = df_counts.sort_values(by="count", ascending=False).reset_index(drop=True)

print("\n组合频率统计DataFrame:")
print(df_counts)