优化SpaCy Matcher模式匹配策略：处理重叠与长度优先问题

本文深入探讨了spacy `matcher`在处理具有重叠前缀的多个模式时可能遇到的匹配优先级问题。当短模式可能优先于长模式被匹配时，会导致更具体的信息提取失败。教程详细介绍了如何通过在`matcher.add()`方法中使用`greedy="longest"`参数，强制`matcher`优先选择最长的匹配项，从而有效解决这一问题，提升基于规则的实体识别的准确性。

引言：SpaCy Matcher与模式匹配挑战

SpaCy的Matcher是一个功能强大的工具，用于基于词法、词性（POS）、依赖关系等语言学特征进行高效的模式匹配和实体提取。它允许开发者定义一系列复杂的模式来识别文本中特定的短语或概念。然而，在使用Matcher时，一个常见的挑战是当多个模式存在重叠，特别是当一个模式是另一个模式的前缀时，Matcher的默认行为可能导致较短的、不那么具体的模式被优先匹配，从而遗漏了更长、更精确的匹配项。

考虑以下场景：我们希望从文本中识别出表示“组件”的短语，并定义了多个词性模式，例如NOUN ADP NOUN ADJ（名词 介词 名词 形容词）和NOUN ADP NOUN（名词 介词 名词）。在默认情况下，Matcher可能会优先匹配到较短的NOUN ADP NOUN，即使文本中存在符合NOUN ADP NOUN ADJ的更长匹配。这会影响实体提取的准确性。

问题分析：短模式优先匹配的困境

为了更好地理解问题，我们使用一个具体的例子。假设有以下葡萄牙语句子和SpaCy处理流程：

import spacy
from spacy.matcher import Matcher
from spacy.tokens import Span

txt = "Os edifícios multifamiliares devem ser providos de proteção contra descargas atmosféricas, atendendo ao estabelecido na ABNT NBR 5419 e demais Normas Brasileiras aplicáveis, nos casos previstos na legislação vigente."
nlp = spacy.load("pt_core_news_md")
doc = nlp(txt)

# 定义包含多个子模式的模式字典
patterns_config = [
    {"label": "COMPONENTE", "pattern": [
        [{"POS": "NOUN"}, {"POS": "ADP"}, {"POS": "NOUN"}, {"POS": "ADJ"}], # 模式A：NOUN ADP NOUN ADJ
        [{"POS": "NOUN"}, {"POS": "ADP"}, {"POS": "ADJ"}],
        [{"POS": "NOUN"}, {"POS": "ADP"}, {"POS": "NOUN"}], # 模式B：NOUN ADP NOUN (模式A的前缀)
        [{"POS": "NOUN", "DEP": "nsubj"}, {"POS": "ADJ"}, {"POS": "ADJ"}],
        [{"POS": "NOUN", "DEP": "nsubj"}],
        [{"POS": "NOUN"}, {"POS": "ADJ"}]
    ]}
]

# 自定义顺序匹配函数，避免重复处理已匹配的token
def buscar_padroes_sequencialmente(doc, patterns_config):
    resultados = []
    tokens_processados = set()

    for pat_config in patterns_config:
        label = pat_config["label"]
        matcher = Matcher(doc.vocab)

        # 将当前标签的所有子模式添加到Matcher中
        for padrao_atual in pat_config["pattern"]:
            matcher.add(label, [padrao_atual]) # 原始代码，缺少greedy参数

        for padrao_id, inicio, fim in matcher(doc):
            rotulo_span = matcher.vocab.strings[padrao_id]

            # 检查是否有任何token已被之前的匹配处理
            if any(token.i in tokens_processados for token in doc[inicio:fim]):
                continue

            # 将当前匹配的token索引添加到已处理集合
            tokens_processados.update(token.i for token in doc[inicio:fim])

            # 创建Span对象
            span = Span(doc, inicio, fim, label=rotulo_span)
            resultados.append((rotulo_span, span))

    return resultados

# 执行匹配并打印结果
resultados = buscar_padroes_sequencialmente(doc, patterns_config)

print("原始句子:", txt)
for i, (rotulo, span) in enumerate(resultados, start=1):
    pos_tokens = [token.pos_ for token in span]
    print(f"语义实体 {i}:", span.text, f'({rotulo})')
    print("词性序列:", pos_tokens)
    print()

运行上述代码，我们期望找到"proteção contra descargas atmosféricas"（POS: NOUN ADP NOUN ADJ），但实际输出却可能是：

语义实体 4: proteção contra descargas (COMPONENTE)
词性序列: ['NOUN', 'ADP', 'NOUN']

这表明Matcher优先匹配了模式B（NOUN ADP NOUN），而忽略了更长的模式A（NOUN ADP NOUN ADJ），即使模式A更准确地描述了“大气放电保护”这一概念。这种现象的根本原因在于，当多个模式可以匹配同一段文本时，Matcher的默认行为可能不会自动选择最长的匹配。

Whimsical

Whimsical推出的AI思维导图工具

下载

解决方案：利用greedy="LONGEST"参数

SpaCy Matcher提供了一个greedy参数，专门用于处理这种模式重叠时的匹配优先级问题。通过将greedy参数设置为"LONGEST"，我们可以指示Matcher在遇到多个模式可以匹配同一段文本时，优先选择能够匹配最长文本的模式。

greedy参数可以在matcher.add()方法中指定。当为某个key（即模式组的标签）添加模式时，如果该key下有多个模式，并且这些模式可能在文本中产生重叠匹配，greedy="LONGEST"将确保在这些重叠匹配中，长度最长的那个被选中。

我们将修改buscar_padroes_sequencialmente函数中的matcher.add()调用，加入greedy="LONGEST"参数：

import spacy
from spacy.matcher import Matcher
from spacy.tokens import Span

# 重新加载模型和文本
txt = "Os edifícios multifamiliares devem ser providos de proteção contra descargas atmosféricas, atendendo ao estabelecido na ABNT NBR 5419 e demais Normas Brasileiras aplicáveis, nos casos previstos na legislação vigente."
nlp = spacy.load("pt_core_news_md")
doc = nlp(txt)

# 模式配置保持不变
patterns_config = [
    {"label": "COMPONENTE", "pattern": [
        [{"POS": "NOUN"}, {"POS": "ADP"}, {"POS": "NOUN"}, {"POS": "ADJ"}],
        [{"POS": "NOUN"}, {"POS": "ADP"}, {"POS": "ADJ"}],
        [{"POS": "NOUN"}, {"POS": "ADP"}, {"POS": "NOUN"}],
        [{"POS": "NOUN", "DEP": "nsubj"}, {"POS": "ADJ"}, {"POS": "ADJ"}],
        [{"POS": "NOUN", "DEP": "nsubj"}],
        [{"POS": "NOUN"}, {"POS": "ADJ"}]
    ]}
]

# 改进后的顺序匹配函数，加入greedy="LONGEST"
def buscar_padroes_sequencialmente_mejorado(doc, patterns_config):
    resultados = []
    tokens_processados = set()

    for pat_config in patterns_config:
        label = pat_config["label"]
        matcher = Matcher(doc.vocab)

        # 将当前标签的所有子模式添加到Matcher中，并指定greedy="LONGEST"
        # 确保在多个模式匹配相同文本时，优先选择最长的匹配。
        for padrao_atual in pat_config["pattern"]:
            matcher.add(label, [padrao_atual], greedy="LONGEST") # 关键改动在这里

        for padrao_id, inicio, fim in matcher(doc):
            rotulo_span = matcher.vocab.strings[padrao_id] 

            # 检查是否有任何token已被之前的匹配处理
            if any(token.i in tokens_processados for token in doc[inicio:fim]):
                continue

            # 将当前匹配的token索引添加到已处理集合
            tokens_processados.update(token.i for token in doc[inicio:fim])

            # 创建Span对象
            span = Span(doc, inicio, fim, label=rotulo_span)
            resultados.append((rotulo_span, span))

    return resultados

# 执行匹配并打印结果
resultados_mejorados = buscar_padroes_sequencialmente_mejorado(doc, patterns_config)

print("原始句子:", txt)
for i, (rotulo, span) in enumerate(resultados_mejorados, start=1):
    pos_tokens = [token.pos_ for token in span]
    print(f"语义实体 {i}:", span.text, f'({rotulo})')
    print("词性序列:", pos_tokens)
    print()

改进后的输出与效果

通过引入greedy="LONGEST"参数，改进后的代码将产生以下输出：

原始句子: Os edifícios multifamiliares devem ser providos de proteção contra descargas atmosféricas, atend