1. 引言：处理多层字典列表的挑战
在数据分析和处理的实践中，我们经常会遇到从各种数据源（如数据库查询结果、API响应等）获取的数据，其结构可能并非直接适合Pandas DataFrame的创建。一个典型场景是，数据以列表的列表形式存在，或者在处理过程中，由于迭代方式不当，导致每次循环都生成一个独立的DataFrame。例如，原始数据可能看起来像是多个独立的字典列表拼接在一起：
[{'case_id': 22, 'case_subject': 'followup'}, {'case_id': 22, 'case_subject': 'rma'}, ...]
[{'case_id': 26, 'case_subject': 'c'}, {'case_id': 26, 'case_subject': 'ge'}, ...]
...如果直接尝试将这种结构转换为DataFrame，或者在循环中反复调用pd.DataFrame()，就会导致生成多个DataFrame，而不是我们期望的一个统一的DataFrame。我们的目标是，无论原始数据如何分散，最终都能得到一个包含所有信息的单一DataFrame，并在此基础上进行进一步的分析，例如对case_subject字段中的词进行频率统计。
2. 数据准备与整合：构建统一的字典列表
解决上述问题的关键在于，在将数据传递给pd.DataFrame()构造函数之前，确保所有待处理的数据行都已经被收集到一个单一的Python列表中，其中列表的每个元素都是一个字典，代表DataFrame的一行。
以下代码示例模拟了从原始数据源（如数据库游标cur.fetchall()）获取数据，并将其转换为这种统一格式的过程。假设raw_db_data变量包含了从数据库获取的原始行，每行包含一个case_id和一个case_subject的字符串描述。
import pandas as pd
import re
# 模拟从数据库获取的原始数据
# 实际场景中，data可能来自 cur.fetchall()，例如：
raw_db_data = [
(22, 'followup rma ticket 61555'),
(26, 'c ge app logs request'),
(30, 'refund request return refund pending partial payment'),
(34, 'unable control devices via mfg configured devices'),
(38, 'trouble connecting alexa')
]
# 用于收集所有字典的单一列表
output_data = []
for row in raw_db_data:
case_id = row[0]
raw_subject_string = str(row[1])
# 清理和标准化主题字符串
# 移除特殊字符，保留字母数字和空格
cleaned_subject = ''.join(e for e in raw_subject_string if (e.isalnum() or e.isspace()))
# 替换多个空格为单个空格，并转换为小写，去除首尾空格
standardized_subject = re.sub(r'\s+', ' ', cleaned_subject).lower().strip()
# 将主题字符串分割成词列表
subject_words = standardized_subject.split(" ")
# 为每个词创建一个字典，并添加到 output_data 列表中
for word in subject_words:
if word: # 确保不是空字符串，避免生成无效行
each_row = {"case_id": case_id, "case_subject": word}
output_data.append(each_row)
# 此时，output_data 是一个包含所有扁平化字典的单一列表
print("整合后的数据示例 (output_data):")
print(output_data[:10]) # 打印前10个元素作为示例代码解析：
- output_data = []：这是核心，它是一个空的列表，用于累积所有处理后的字典。
- 循环遍历raw_db_data中的每一行。
- cleaned_subject和standardized_subject：对原始主题字符串进行预处理，包括去除特殊字符、统一空格和转换为小写，以确保后续词频统计的准确性。strip()用于移除字符串两端的空白符。
- subject_words = standardized_subject.split(" ")：将清理后的主题字符串按空格分割成独立的词。
- 内层循环for word in subject_words:：对于每个分割出的词，我们都创建一个新的字典{"case_id": case_id, "case_subject": word}。
- output_data.append(each_row)：将这个新创建的字典添加到output_data列表中。
通过这种方式，无论原始数据有多少行或每个主题包含多少个词，所有的case_id和对应的case_subject词都将被收集到一个output_data的单一列表中。
3. 创建单一DataFrame并进行词频统计
一旦output_data这个统一的字典列表准备就绪，就可以轻松地创建一个单一的Pandas DataFrame，并在此基础上进行词频统计。以下是完整的处理流程：
# 假设 output_data 已经通过上一步骤生成
# output_data = [...]
# 1. 从整合后的字典列表创建单一DataFrame
df = pd.DataFrame(output_data)
# 2. 执行词频统计和数据整形
# 注意：在我们的 output_data 生成过程中，case_subject 已经是单个词了。
# 但为了兼容原始问题中可能存在多词字符串的情况，保留 str.split() 操作，
# 它会将单个词转换为单元素列表，后续 explode 仍能正常工作。
out = (df
.assign(case_subject = lambda x: x['case_subject'].str.split()) # 将 case_subject 列的字符串按空格分割成列表
.explode('case_subject') # 展开列表，为每个词创建一行
.value_counts(['case_id', 'case_subject']) # 对 case_id 和 case_subject 组合进行计数
.rename('Case_Subject_Split_ 
