Pandas中高效检查DataFrame列中元素存在性与子字符串匹配

import pandas as pd

# 示例数据
data = {
    'Genre': ['Pop;Rock', 'Jazz', 'Classical;Pop', 'Rock', 'Electronic;Pop', 'Hip Hop'],
    'Streams': [100, 50, 120, 80, 150, 200]
}
spotify_data = pd.DataFrame(data)

# 待搜索的流派列表
genre_names = ['Pop', 'Rock', 'Jazz', 'Hip Hop']

# 低效的嵌套循环方法
streams_on_genre_inefficient = []
for genre in genre_names:
    streams = 0
    for index, row in spotify_data.iterrows():
        # 核心问题：在循环内部进行子字符串检查
        if genre in row['Genre']:
            streams += row['Streams']
    streams_on_genre_inefficient.append(streams)

print("低效方法计算结果 (按genre_names顺序):", streams_on_genre_inefficient)
# 预期结果：[100+120+150, 100+80, 50, 200] -> [370, 180, 50, 200]

import pandas as pd

data = {'id': [1, 2, 3], 'category': ['apple', 'orange', 'banana']}
df = pd.DataFrame(data)

# 检查 'apple' 是否精确存在于 'category' 列中
print("'apple' in df['category'].values:", 'apple' in df['category'].values) # 输出 True

# 检查 'pear' 是否精确存在于 'category' 列中
print("'pear' in df['category'].values:", 'pear' in df['category'].values)   # 输出 False

# 检查 'category' 列中的值是否在 ['apple', 'grape'] 列表中
matches = df['category'].isin(['apple', 'grape'])
print("\ndf['category'].isin(['apple', 'grape']):\n", matches)

# 可以用此结果筛选DataFrame
filtered_df = df[matches]
print("\n筛选后的DataFrame:\n", filtered_df)

# 优化后的子字符串匹配方法
streams_on_genre_optimized = {}
for genre in genre_names:
    # 使用 Series.str.contains() 进行向量化的子字符串匹配
    # na=False 处理 NaN 值，将其视为不匹配
    matches = spotify_data['Genre'].str.contains(genre, na=False)

    # 根据匹配结果筛选 'Streams' 列并求和
    current_streams = spotify_data.loc[matches, 'Streams'].sum()
    streams_on_genre_optimized[genre] = current_streams

print("\n优化方法计算结果 (字典形式):", streams_on_genre_optimized)
# 预期结果：{'Pop': 370, 'Rock': 180, 'Jazz': 50, 'Hip Hop': 200}

import re

# 构建一个正则表达式，匹配 genre_names 中的任意一个元素
# re.escape 用于转义特殊字符，防止它们被解释为正则表达式元字符
pattern = '|'.join(map(re.escape, genre_names))

# 使用 Series.str.contains() 匹配所有模式
# 结果是一个布尔Series，指示每行是否包含任一流派
all_genre_matches = spotify_data['Genre'].str.contains(pattern, na=False)

print("\n所有流派模式匹配结果:\n", all_genre_matches)

# 统计匹配任意流派的总播放量
total_streams_for_any_genre = spotify_data.loc[all_genre_matches, 'Streams'].sum()
print("\n匹配任意流派的总播放量:", total_streams_for_any_genre)