处理下载文件时IndexError的深度解析与解决方案

import os
import time
from selenium import webdriver
from selenium.webdriver.common.by import By

# 假设 driver 已经初始化并导航到相关页面

def download_wait():
    """
    等待下载目录中不再存在 .crdownload 或 .tmp 临时文件。
    """
    seconds = 0
    dl_wait = True
    while dl_wait and seconds < 100:
        time.sleep(1)
        dl_wait = False
        for fname in os.listdir(r"C:\Users\Testuser\Downloads"):
            if fname.endswith('.crdownload') or fname.endswith('.tmp'):
                dl_wait = True
        seconds += 1
    return seconds

Years = ["2009", "2010"] # 示例年份
for year in Years:
    try:
        # 模拟点击下载链接
        # report = driver.find_elements(By.XPATH, f"//span[@class='btn_archived download'][.//a[contains(@href,{year})]]")
        # if len(report) != 0:
        #     report[0].click()

        # 模拟下载等待过程
        print(f"开始处理年份: {year}")
        download_wait() 

        files = os.listdir(r"C:\Users\Testuser\Downloads")
        # 核心问题所在：过滤逻辑
        filtered_files = [file for file in files if file.lower().endswith(('.pdf', '.htm'))]

        print(f"当前下载目录文件: {files}, 年份: {year}, 过滤后的文件: {filtered_files}")

        # IndexError 发生点
        filename = filtered_files[0] 
        print(f"成功获取文件名: {filename}")

    except IndexError:
        print(f"错误：在处理年份 {year} 时，filtered_files 列表为空，导致 IndexError。")
    except Exception as e:
        print(f"发生其他错误: {e}")

当前下载目录文件: ['NYSE_XOM_2009.pdf'], 年份: 2009, 过滤后的文件: ['NYSE_XOM_2009.pdf']
成功获取文件名: NYSE_XOM_2009.pdf
当前下载目录文件: ['NYSE_XOM_2010.pdf.crdownload'], 年份: 2010, 过滤后的文件: []
错误：在处理年份 2010 时，filtered_files 列表为空，导致 IndexError。

# 方案一：将临时扩展名也纳入过滤范围
# 这样即使文件仍是 .crdownload 状态，也能被识别
filtered_files = [file for file in files if file.lower().endswith(('.pdf', '.htm', '.crdownload', '.tmp'))]

# 如果更精确，只匹配 .pdf.crdownload 这种形式
# filtered_files = [file for file in files if file.lower().endswith(('.pdf', '.htm', '.pdf.crdownload'))]

import os
import time
# from selenium import webdriver
# from selenium.webdriver.common.by import By

# 假设 driver 已经初始化并导航到相关页面

def download_wait_improved(download_dir, expected_file_prefix=None, timeout=100):
    """
    等待下载目录中不再存在 .crdownload 或 .tmp 临时文件，
    并可选地等待特定文件最终名称的出现。
    """
    seconds = 0
    while seconds < timeout:
        time.sleep(1)
        temp_files_exist = False
        final_file_found = False

        current_files = os.listdir(download_dir)

        for fname in current_files:
            if fname.endswith('.crdownload') or fname.endswith('.tmp'):
                temp_files_exist = True

            # 如果提供了预期文件前缀，检查最终文件是否出现
            if expected_file_prefix and fname.lower().startswith(expected_file_prefix.lower()) and \
               (fname.lower().endswith('.pdf') or fname.lower().endswith('.htm')):
                final_file_found = True

        if not temp_files_exist and (not expected_file_prefix or final_file_found):
            print(f"下载等待完成，耗时 {seconds} 秒。")
            return True # 没有临时文件，且如果需要，最终文件已找到

        seconds += 1
    print(f"下载等待超时，耗时 {seconds} 秒。")
    return False # 超时

download_directory = r"C:\Users\Testuser\Downloads"
Years = ["2009", "2010"] # 示例年份
for year in Years:
    try:
        print(f"\n--- 开始处理年份: {year} ---")

        # 模拟点击下载链接
        # driver.find_elements(...)

        # 假设预期下载的文件名会包含年份，例如 'NYSE_XOM_2010'
        # 这有助于 download_wait_improved 更精确地判断目标文件是否就绪
        expected_prefix = f"NYSE_XOM_{year}" 

        # 使用改进的等待函数
        if not download_wait_improved(download_directory, expected_prefix):
            print(f"警告：年份 {year} 的文件下载可能未完成或超时。")
            # 可以选择跳过当前迭代或进行其他错误处理
            continue 

        files = os.listdir(download_directory)

        # 优化后的过滤逻辑：包含常见的最终扩展名和临时扩展名
        # 注意：这里假设我们想处理的是最终的 .pdf 或 .htm 文件
        # 如果需要处理 .crdownload 状态的文件，则应将 .crdownload 也加入过滤列表
        filtered_files = [file for file in files if file.lower().endswith(('.pdf', '.htm')) and not file.lower().endswith(('.crdownload', '.tmp'))]

        # 如果需要同时处理临时文件，可以改为：
        # filtered_files = [file for file in files if file.lower().endswith(('.pdf', '.htm', '.crdownload', '.tmp'))]

        print(f"当前下载目录文件: {files}")
        print(f"年份: {year}, 过滤后的文件: {filtered_files}")

        if not filtered_files:
            print(f"错误：年份 {year} 没有找到符合条件的文件。")
            continue # 跳过当前迭代，避免 IndexError

        filename = filtered_files[0] 
        print(f"成功获取文件名: {filename}")

    except Exception as e:
        print(f"处理年份 {year} 时发生错误: {e}")