
在数据分析和处理过程中,我们经常需要从多个 excel 文件中提取数据并进行整合。这些 excel 文件可能位于同一目录或子目录中,并且每个文件可能包含多个工作表。我们的目标是根据特定的工作表名称筛选数据,并将其合并到一个统一的数据结构中,例如 pandas dataframe 字典,以便后续的分析。
此任务的核心挑战在于:
在处理 Excel 文件时,一个常见的错误是 AttributeError: 'str' object has no attribute 'sheet_names'。这个错误通常发生在尝试在一个字符串对象上调用 sheet_names 属性时。sheet_names 是 pandas.ExcelFile 对象的属性,用于获取工作簿中所有工作表的名称列表。
错误原因分析: 在原始错误代码中:
for sheet_name in path.sheet_names():
这里的 path 变量在循环中代表的是一个文件路径字符串(例如 'your/excel/files/path/file.xlsx'),而不是一个 pandas.ExcelFile 对象。因此,当尝试在一个字符串对象上调用 sheet_names()(即使是 sheet_names 属性,字符串也没有这个属性)时,就会引发 AttributeError。
正确做法: 必须先使用 pd.ExcelFile() 将文件路径字符串加载成一个 ExcelFile 对象,然后才能访问该对象的 sheet_names 属性。
以下是使用 Python 和 Pandas 实现该功能的详细步骤和代码示例。
首先,确保安装了 pandas 库。如果尚未安装,可以通过以下命令安装:
pip install pandas openpyxl xlrd
openpyxl 和 xlrd 是 Pandas 读取 .xlsx 和 .xls 文件所需的引擎。
import os
import pandas as pd
def merge_excel_sheets_to_dict(base_path: str, target_sheet_names: list) -> dict:
"""
遍历指定路径下的所有Excel文件,根据目标工作表名称筛选并合并数据。
Args:
base_path (str): 包含Excel文件的根目录路径。
target_sheet_names (list): 一个字符串列表,包含需要合并的工作表名称。
Returns:
dict: 一个字典,键为工作表名称,值为合并后的DataFrame。
如果同一个工作表名称在多个文件中出现,数据将追加到同一个DataFrame中。
"""
# 初始化一个字典,用于存储每个目标工作表名称对应的DataFrame
# 键为工作表名称,值为pd.DataFrame对象
merged_data_frames = {sheet_name: pd.DataFrame() for sheet_name in target_sheet_names}
print(f"开始扫描目录: {base_path}")
# 使用 os.walk 遍历指定路径下的所有文件和子目录
for root, dirs, files in os.walk(base_path):
for fname in files:
# 构建完整的文件路径
file_path = os.path.join(root, fname)
# 仅处理 Excel 文件 (.xlsx 或 .xls)
if file_path.endswith(('.xlsx', '.xls')):
print(f"\n正在处理文件: {file_path}")
try:
# 将文件路径加载为 pandas.ExcelFile 对象
# 这是解决 AttributeError 的关键步骤
xls_file = pd.ExcelFile(file_path)
# 遍历当前 Excel 文件中的所有工作表名称
for sheet_name in xls_file.sheet_names:
# 检查当前工作表名称是否在我们的目标列表中
if sheet_name in target_sheet_names:
print(f" 发现目标工作表: '{sheet_name}'")
# 解析指定工作表的数据到 DataFrame
df = xls_file.parse(sheet_name)
# 将当前工作表的数据追加到对应的 merged_data_frames 字典中
# 如果是第一次遇到这个工作表,它会是一个空的DataFrame,直接赋值
# 否则,使用 pd.concat 进行追加
if merged_data_frames[sheet_name].empty:
merged_data_frames[sheet_name] = df
else:
merged_data_frames[sheet_name] = pd.concat([merged_data_frames[sheet_name], df], ignore_index=True)
# else:
# print(f" 跳过非目标工作表: '{sheet_name}'")
except Exception as e:
print(f" 处理文件 '{file_path}' 时发生错误: {e}")
continue # 继续处理下一个文件
print("\n所有文件处理完毕。")
return merged_data_frames
# --- 使用示例 ---
if __name__ == "__main__":
# 定义你的 Excel 文件所在的路径
# 请将 'your/excel/files/path' 替换为实际的目录路径
excel_files_directory = 'your/excel/files/path'
# 定义你想要合并的工作表名称列表
# 示例中选取 'Portfolios' 和 'SP Search Term Req'
sheets_to_merge = ['Portfolios', 'SP Search Term Req']
# 调用函数执行合并操作
final_merged_data = merge_excel_sheets_to_dict(excel_files_directory, sheets_to_merge)
# 打印合并结果的概览
if final_merged_data:
for sheet_name, df in final_merged_data.items():
print(f"\n工作表 '{sheet_name}' 合并后的数据概览:")
if not df.empty:
print(f" 总行数: {len(df)}")
print(df.head()) # 打印前几行数据
else:
print(" 未找到数据或数据为空。")
else:
print("未找到任何符合条件的工作表数据。")
本教程提供了一个健壮且灵活的 Python Pandas 解决方案,用于从多个 Excel 文件中提取并合并指定工作表的数据。通过正确使用 pandas.ExcelFile 对象,我们成功解决了常见的 AttributeError。此方法不仅提高了数据处理的效率,也为后续的数据分析工作奠定了坚实的基础。通过理解其核心原理和注意事项,你可以根据自己的具体需求进一步定制和优化此解决方案。
以上就是使用 Pandas 合并多 Excel 文件中的指定工作表数据的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号