Python文件系统操作：利用os.scandir高效筛选目标子目录

import os
import re

def find_subfolders_of_interest_traditional(dir_of_interest, starting_string_of_interest):
    # 1. 获取目录下所有条目的名称
    all_entries = os.listdir(dir_of_interest)

    # 2. 筛选出所有子文件夹
    # 注意：os.path.isdir()会为每个条目进行一次系统调用，在大规模目录下开销巨大
    all_subfolders = [item for item in all_entries if os.path.isdir(os.path.join(dir_of_interest, item))]

    # 3. 使用正则表达式筛选符合条件的子文件夹
    regexp_pattern = re.compile(starting_string_of_interest)
    all_subfolders_of_interest = list(filter(regexp_pattern.match, all_subfolders))

    return all_subfolders_of_interest

# 示例用法
# if __name__ == '__main__':
#     # 假设 'test_folder' 包含大量文件和子文件夹
#     subfolders = find_subfolders_of_interest_traditional('test_folder', 'string_of_interest')
#     print(subfolders)

import os

def list_subdirs_efficiently(path):
    """
    使用os.scandir高效地列出给定路径下不以'.'开头的子目录。
    """
    with os.scandir(path) as entries: # 使用with语句确保迭代器资源被正确释放
        for entry in entries:
            # entry.name 是条目的名称
            # entry.is_dir() 直接判断是否为目录，无需额外的系统调用
            if not entry.name.startswith('.') and entry.is_dir():
                yield entry.name # 使用yield按需生成结果

import os

def find_subfolders_of_interest_optimized(dir_of_interest, starting_string_of_interest):
    """
    使用os.scandir高效地在指定目录中查找以特定字符串开头的子文件夹。
    """
    all_subfolders_of_interest = []

    # 使用with语句确保os.scandir迭代器资源被正确管理和释放
    with os.scandir(dir_of_interest) as entries:
        for entry in entries:
            # 直接在迭代过程中进行类型判断和名称筛选
            # entry.is_dir() 避免了额外的系统调用
            # entry.name.startswith() 进行前缀匹配
            if entry.name.startswith(starting_string_of_interest) and entry.is_dir():
                all_subfolders_of_interest.append(entry.name)

    return all_subfolders_of_interest

# 示例用法
if __name__ == '__main__':
    # 假设 'my_large_data_folder' 包含大量文件和子文件夹
    # 并且我们想查找以 'project_A' 开头的子文件夹

    # 为了演示，我们先创建一个模拟目录结构
    test_root = 'temp_test_dir_for_scandir'
    os.makedirs(os.path.join(test_root, 'project_A_data1'), exist_ok=True)
    os.makedirs(os.path.join(test_root, 'project_A_data2'), exist_ok=True)
    os.makedirs(os.path.join(test_root, 'other_project_B'), exist_ok=True)
    with open(os.path.join(test_root, 'project_A_report.txt'), 'w') as f:
        f.write("report content")

    print(f"正在 {test_root} 中查找以 'project_A' 开头的子文件夹...")
    found_subfolders = find_subfolders_of_interest_optimized(test_root, 'project_A')
    print("找到的子文件夹:", found_subfolders)

    # 清理模拟目录
    import shutil
    if os.path.exists(test_root):
        shutil.rmtree(test_root)