Python中高效查找指定子文件夹的策略：os.scandir的应用与优化

import os
import re

def find_subfolders_inefficient(dir_of_interest, starting_string_of_interest):
    # 1. 获取所有文件和文件夹名称
    all_entries = os.listdir(dir_of_interest)

    # 2. 过滤出所有子文件夹 (每次os.path.isdir()都是一次系统调用)
    all_subfolders = [
        item for item in all_entries 
        if os.path.isdir(os.path.join(dir_of_interest, item))
    ]

    # 3. 使用正则表达式进行匹配
    regexp_pattern = re.compile(starting_string_of_interest)
    all_subfolders_of_interest = list(filter(regexp_pattern.match, all_subfolders))

    return all_subfolders_of_interest

# 示例调用
# subfolders = find_subfolders_inefficient('path/to/large/folder', 'prefix_')

import os

def find_subfolders_efficient(dir_of_interest, starting_string_of_interest):
    """
    使用 os.scandir 高效查找指定目录下以特定字符串开头的子文件夹。

    Args:
        dir_of_interest (str): 待扫描的目录路径。
        starting_string_of_interest (str): 子文件夹名称的起始匹配字符串。

    Returns:
        list: 匹配到的子文件夹名称列表。
    """
    all_subfolders_of_interest = []

    try:
        # 使用 os.scandir 迭代目录条目
        with os.scandir(dir_of_interest) as entries:
            for entry in entries:
                # 检查是否为目录且名称符合前缀
                # entry.is_dir() 避免了额外的系统调用
                # entry.name 直接获取名称，避免路径拼接
                if entry.is_dir() and entry.name.startswith(starting_string_of_interest):
                    all_subfolders_of_interest.append(entry.name)
    except FileNotFoundError:
        print(f"错误：目录 '{dir_of_interest}' 不存在。")
    except PermissionError:
        print(f"错误：没有权限访问目录 '{dir_of_interest}'。")
    except Exception as e:
        print(f"扫描目录时发生未知错误：{e}")

    return all_subfolders_of_interest

# 示例调用
if __name__ == '__main__':
    # 创建一个测试目录结构 (可选)
    # os.makedirs('test_large_folder/prefix_sub1', exist_ok=True)
    # os.makedirs('test_large_folder/another_sub', exist_ok=True)
    # os.makedirs('test_large_folder/prefix_sub2', exist_ok=True)
    # with open('test_large_folder/file.txt', 'w') as f:
    #     f.write("test")

    target_dir = 'test_large_folder' # 替换为你的实际目录
    search_prefix = 'prefix_'

    print(f"正在 {target_dir} 中查找以 '{search_prefix}' 开头的子文件夹...")
    found_subfolders = find_subfolders_efficient(target_dir, search_prefix)

    if found_subfolders:
        print("找到以下子文件夹：")
        for folder in found_subfolders:
            print(f"- {folder}")
    else:
        print("未找到匹配的子文件夹。")