Python高效文件内容搜索与ID提取：优化策略与实践

import re
from collections import defaultdict

def tid_searcher(filename: str, tids_of_interest: set) -> defaultdict:
    """
    在文件中高效搜索多个tid，并返回它们对应的文档ID。

    Args:
        filename (str): 要搜索的文件路径。
        tids_of_interest (set): 一个包含所有感兴趣的tid字符串的集合。

    Returns:
        defaultdict: 一个字典，键是找到的tid，值是包含该tid的文档ID列表。
                     例如：{'268': ['5168', '5169'], '271': ['5169']}
    """
    res = defaultdict(list)
    try:
        with open(filename, 'r') as src:
            for line in src:
                # 1. 使用正则表达式提取当前行中所有的tid
                # re.findall返回一个字符串列表，转换为集合以便进行快速交集操作
                line_tids = set(re.findall(r'(\d+):', line)) 

                # 2. 查找当前行中是否存在感兴趣的tid
                # set intersection: 找出共同存在的tid
                hits = tids_of_interest & line_tids  

                if hits:
                    # 3. 如果有匹配，提取行首的文档ID
                    # \A 表示字符串开头，\d+ 表示一个或多个数字
                    doc_id_match = re.search(r'\A\d+', line)
                    if doc_id_match:
                        line_doc_id = doc_id_match.group(0)
                        # 4. 将文档ID添加到对应的tid结果列表中
                        for hit_tid in hits:
                            res[hit_tid].append(line_doc_id)
        return res
    except FileNotFoundError:
        print(f"错误：文件 '{filename}' 未找到。")
        return defaultdict(list)
    except Exception as e:
        print(f"处理文件时发生错误：{e}")
        return defaultdict(list)

# 示例用法
if __name__ == "__main__":
    # 创建一个模拟文件用于测试
    with open('data.txt', 'w') as f:
        f.write("5168  268:0.0482384162801528 297:0.0437108092315354 352:0.194373864228161\n")
        f.write("5169  268:0.0444310314892627 271:0.114435072663748 523:0.0452228057908503\n")
        f.write("5170  100:0.01 200:0.02\n")

    tids_to_find = {'268', '271', '100'}
    file_name = 'data.txt'

    found_dids = tid_searcher(file_name, tids_to_find)
    print(found_dids)
    # 预期输出: defaultdict(<class 'list'>, {'268': ['5168', '5169'], '271': ['5169'], '100': ['5170']})

    tids_to_find_single = {'297'}
    found_dids_single = tid_searcher(file_name, tids_to_find_single)
    print(found_dids_single)
    # 预期输出: defaultdict(<class 'list'>, {'297': ['5168']})