Python中处理和保存从HTTP响应获取的Excel文件

在数据处理和web应用开发中，我们经常需要从http响应中获取文件，尤其是excel文件。当通过网络请求获得一个包含excel文件的响应对象时，其内容通常是字节流形式（例如response.content）。本文将深入探讨如何将这些字节流有效转换为本地excel文件，以及如何利用pandas库对excel文件进行更精细的解析和保存。

1. 直接保存原始Excel文件字节流

当HTTP响应的content直接就是完整的Excel文件字节流，且你不需要对文件内容进行任何处理，只是想将其保存到本地时，最直接、最高效的方法是将其以二进制写入模式（'wb'）保存到文件中。

适用场景：

• 从API下载完整的Excel报告。
• 保存用户上传的原始Excel文件。
• 任何无需Pandas解析即可直接存储的Excel文件。

操作步骤：

1. 获取HTTP响应的字节内容。
2. 使用Python内置的open()函数以二进制写入模式打开一个新文件。
3. 将字节内容写入到新文件中。

示例代码：

立即学习“Python免费学习笔记（深入）”；

import requests
import io

# 假设你已经通过requests库获取了一个包含Excel文件的响应对象
# 这里的URL是一个示例，实际应用中请替换为你的API端点
# response = requests.get('YOUR_EXCEL_FILE_URL')

# 模拟一个包含Excel文件内容的字节流
# 实际场景中，这会是 response.content
# 为了演示，我们创建一个简单的Excel文件字节流
import pandas as pd
df_sample = pd.DataFrame({'ColA': [1, 2], 'ColB': ['X', 'Y']})
output = io.BytesIO()
with pd.ExcelWriter(output, engine='xlsxwriter') as writer:
    df_sample.to_excel(writer, index=False, sheet_name='Sheet1')
response_content_mock = output.getvalue()


# 1. 定义要保存的文件名
output_filename = 'downloaded_report.xlsx'

# 2. 直接将字节流写入文件
try:
    with open(output_filename, 'wb') as f:
        f.write(response_content_mock) # 实际应用中替换为 response.content
    print(f"Excel文件 '{output_filename}' 已成功保存。")
except IOError as e:
    print(f"保存文件时发生错误: {e}")

注意事项：

• 使用'wb'模式（write binary）是关键，确保以字节形式写入数据。
• 这种方法不涉及Pandas库的解析，因此效率最高，且不会消耗额外的内存来构建DataFrame对象。

2. 解析并保存Excel文件中的单个工作表

有时，你可能需要对从HTTP响应中获取的Excel文件进行更细致的处理，例如：

• 读取特定工作表的数据。
• 将每个工作表保存为单独的Excel文件或CSV文件。
• 在保存前对数据进行清洗、转换等操作。

在这种情况下，pandas.ExcelFile对象就显得非常有用。它的主要目的是读取和解析Excel文件，而不是直接保存整个ExcelFile对象。

存了个图

视频图片解析/字幕/剪辑，视频高清保存/图片源图提取

17

查看详情

操作步骤：

1. 使用io.BytesIO将字节流转换为文件类对象。
2. 将文件类对象传递给pd.ExcelFile进行解析。
3. 遍历ExcelFile对象的sheet_names属性，获取所有工作表名称。
4. 使用xl.parse(sheet_name)读取每个工作表为DataFrame。
5. 对每个DataFrame进行处理（如果需要），然后使用DataFrame.to_excel()或DataFrame.to_csv()保存。

示例代码：

立即学习“Python免费学习笔记（深入）”；

import pandas as pd
import io
import os

# 假设 response_content_mock 仍然是之前模拟的Excel文件字节流
# 实际场景中，这会是 response.content

# 1. 将字节流转换为文件类对象
excel_bytes_io = io.BytesIO(response_content_mock)

# 2. 使用 pd.ExcelFile 解析文件
try:
    xl = pd.ExcelFile(excel_bytes_io)
    print(f"Excel文件包含以下工作表: {xl.sheet_names}")

    # 3. 遍历每个工作表并保存为单独的Excel文件
    output_directory = 'parsed_sheets'
    os.makedirs(output_directory, exist_ok=True) # 创建输出目录

    for sheet_name in xl.sheet_names:
        # 读取工作表为DataFrame
        df = xl.parse(sheet_name)

        # 定义输出文件名
        output_filename = os.path.join(output_directory, f'{sheet_name}.xlsx')

        # 将DataFrame保存为新的Excel文件
        df.to_excel(output_filename, index=False)
        print(f"工作表 '{sheet_name}' 已保存为 '{output_filename}'")

        # 如果需要保存为CSV文件，可以使用 to_csv
        # csv_output_filename = os.path.join(output_directory, f'{sheet_name}.csv')
        # df.to_csv(csv_output_filename, index=False, encoding='utf-8-sig')
        # print(f"工作表 '{sheet_name}' 也已保存为 '{csv_output_filename}'")

except Exception as e:
    print(f"解析或保存Excel工作表时发生错误: {e}")

关键概念：

• pd.ExcelFile是一个文件阅读器对象，用于管理Excel文件中的多个工作表。
• xl.parse(sheet_name)方法返回指定工作表的DataFrame。
• DataFrame.to_excel()用于将DataFrame保存为新的Excel文件。index=False表示不写入DataFrame的索引列。
• DataFrame.to_csv()用于将DataFrame保存为CSV文件，同样index=False表示不写入索引。

3. 注意事项

• pd.ExcelFile与pd.read_excel的区别：
  • pd.ExcelFile是一个更底层的对象，用于处理包含多个工作表的Excel文件，并允许你按需读取特定工作表。它本身不直接返回DataFrame。
  • pd.read_excel()是一个便捷函数，通常用于直接读取单个工作表到DataFrame。如果你知道只处理一个工作表或默认工作表，pd.read_excel(io.BytesIO(response.content))会更简洁。
• 错误处理： 确保response.content确实是有效的Excel文件格式。如果内容损坏或不是Excel文件，pd.ExcelFile或pd.read_excel可能会抛出异常。在实际应用中，应加入try-except块来捕获这些潜在错误。
• 内存管理： 对于非常大的Excel文件，如果一次性将所有工作表加载到内存中可能会导致内存溢出。使用pd.ExcelFile并逐个工作表处理（即xl.parse(name)）可以有效管理内存，因为它只在需要时加载特定工作表的数据。
• 文件命名和路径： 在保存文件时，确保文件名的唯一性以及目标目录的存在和可写权限。使用os.path.join可以更好地构建跨平台的路径。

总结

处理从HTTP响应中获取的Excel文件字节流主要有两种策略：

1. 直接保存： 当你只需要存储原始的Excel文件，而无需进行Pandas数据操作时，直接将response.content以二进制模式写入文件是最简单、最高效的方法。
2. 解析后保存： 当你需要读取、处理Excel文件中的数据，或者将不同工作表保存为独立文件时，应使用pandas.ExcelFile来解析字节流，然后通过DataFrame.to_excel()或DataFrame.to_csv()方法保存每个工作表。

理解这两种方法的适用场景和操作细节，能够帮助你在Python中更灵活、高效地处理Excel文件。

以上就是Python中处理和保存从HTTP响应获取的Excel文件的详细内容，更多请关注php中文网其它相关文章！