优化SpaCy Matcher模式匹配：理解与应用greedy参数解决长度冲突

import spacy
from spacy.matcher import Matcher
from spacy.tokens import Span

def buscar_padroes_sequencialmente(doc, patterns):
    """
    在Doc对象中按顺序查找模式，并确保不重复处理已匹配的token。
    通过greedy="LONGEST"参数优先匹配最长的模式。
    """
    resultados = []
    tokens_processados = set()

    # 遍历每个标签下的模式组
    for pat_group in patterns:
        label = pat_group["label"]
        matcher = Matcher(doc.vocab)

        # 将当前标签下的所有子模式添加到Matcher中，并设置greedy="LONGEST"
        for i, padrao_atual in enumerate(pat_group["pattern"]):
            # 为每个子模式添加一个唯一的规则ID，并指定贪婪策略
            # 注意：如果所有子模式共享同一个label作为rule ID，
            # Matcher在内部会处理这些规则的优先级和长度。
            # 这里我们仍然使用f"{label}"作为规则ID，因为我们希望所有属于"COMPONENTE"的模式都遵循最长匹配原则。
            matcher.add(f"{label}", [padrao_atual], greedy="LONGEST")

        # 对文档运行匹配器
        for padrao_id, inicio, fim in matcher(doc):
            rótulo = matcher.vocab.strings[padrao_id]

            # 检查是否有任何token已被之前的匹配处理过
            if any(token.i in tokens_processados for token in doc[inicio:fim]):
                continue

            # 将当前匹配的token索引添加到已处理集合
            tokens_processados.update(token.i for token in doc[inicio:fim])

            # 将匹配结果转换为Span对象并添加到结果列表
            span = Span(doc, inicio, fim, label=rótulo)
            resultados.append((rótulo, span))

    return resultados

# 示例文本和SpaCy模型加载
txt = "Os edifícios multifamiliares devem ser providos de proteção contra descargas atmosféricas, atendendo ao estabelecido na ABNT NBR 5419 e demais Normas Brasileiras aplicáveis, nos casos previstos na legislação vigente."
nlp = spacy.load("pt_core_news_md")
doc = nlp(txt)

# 定义模式字典
patterns= [
    {"label": "COMPONENTE", "pattern": [
        [{"POS": "NOUN"},{"POS": "ADP"},{"POS": "NOUN"},{"POS": "ADJ"}], # 期望优先匹配的模式
        [{"POS": "NOUN"},{"POS": "ADP"},{"POS": "NOUN"}],              # 较短的子模式
        [{"POS": "NOUN"},{"POS": "ADP"},{"POS": "ADJ"}],
        [{"POS": "NOUN", "DEP":"nsubj"},{"POS": "ADJ"},{"POS": "ADJ"}],
        [{"POS": "NOUN", "DEP":"nsubj"}],
        [{"POS": "NOUN"},{"POS": "ADJ"}]
    ]}
]

# 调用函数并打印结果
resultados = buscar_padroes_sequencialmente(doc, patterns)

print("Frase:", txt)
print("-" * 30)
for i, (rotulo, span) in enumerate(resultados, start=1):
    pos_tokens = [token.pos_ for token in span]
    print(f"OSemantic {i}:", span.text, f'({rotulo})')
    print("POStoken:", pos_tokens)
    print()

Frase: Os edifícios multifamiliares devem ser providos de proteção contra descargas atmosféricas, atendendo ao estabelecido na ABNT NBR 5419 e demais Normas Brasileiras aplicáveis, nos casos previstos na legislação vigente.
------------------------------
OSemantic 1: edifícios (COMPONENTE)
POStoken: ['NOUN']

OSemantic 2: proteção contra descargas atmosféricas (COMPONENTE)
POStoken: ['NOUN', 'ADP', 'NOUN', 'ADJ']

OSemantic 3: Normas Brasileiras (COMPONENTE)
POStoken: ['NOUN', 'ADJ']

OSemantic 4: legislação (COMPONENTE)
POStoken: ['NOUN']