Python 中使用 NLTK 进行单词替换和更正-Python教程-PHP中文网

Python 中使用 NLTK 进行单词替换和更正

WBOY

发布： 2024-08-01 20:00:01

转载

327人浏览过

python 中使用 nltk 进行单词替换和更正

当我们谈论自然语言处理（nlp）时，最重要的任务之一就是替换和纠正单词。这涉及词干提取、词形还原、拼写纠正以及基于同义词和反义词的单词替换等技术。使用这些技术可以极大地提高文本分析的质量，无论是搜索引擎、聊天机器人还是情感分析。让我们探索一下 python 中的 nltk 库如何帮助完成这些任务。

词干提取：切割后缀

词干提取是一种从单词中删除后缀，只留下词根的技术。例如，单词“running”的词根是“corr”。这对于减少搜索引擎需要索引的单词量很有用。

在nltk中，我们可以使用porterstemmer进行词干提取。让我们看看它是如何工作的：

from nltk.stem import porterstemmer

stemmer = porterstemmer()
print(stemmer.stem("correndo"))  # saída: corr
print(stemmer.stem("correção"))  # saída: correc

登录后复制

在这里，我们看到词干切掉了后缀，只留下了词根。这可以帮助您专注于单词的主要含义，而不必担心它们的变化。

词形还原：回归基本形式

词形还原与词干提取类似，但它不是删除后缀，而是将单词转换为其基本形式，或引理。例如，“跑步”变成“跑步”。这比词干提取更聪明，因为它考虑了单词的上下文。

立即学习“Python免费学习笔记（深入）”；

为了在 nltk 中进行词形还原，我们使用 wordnetlemmatizer：

from nltk.stem import wordnetlemmatizer

lemmatizer = wordnetlemmatizer()
print(lemmatizer.lemmatize("correndo", pos='v'))  # saída: correr
print(lemmatizer.lemmatize("correções"))  # saída: correção

登录后复制

在此示例中，我们使用 lemmatize 函数，对于动词，我们将词性 (pos) 指定为“v”。这有助于 nltk 更好地理解单词的上下文。

用于替换的正则表达式

有时，我们想要替换文本中的特定单词或模式。为此，正则表达式（regex）非常有用。例如，我们可以使用正则表达式来扩展缩写，例如“no”到“no”。

这是我们如何使用 nltk 做到这一点：

import re

texto = "eu não posso ir à festa. você não vai?"
expansoes = [("não", "não")]

def expandir_contracoes(texto, expansoes):
    for (contraido, expandido) in expansoes:
        texto = re.sub(r'\b' + contraido + r'\b', expandido, texto)
    return texto

print(expandir_contracoes(texto, expansoes))  # saída: eu não posso ir à festa. você não vai?

登录后复制

在此示例中，expand_contracoes 函数使用正则表达式来查找和替换文本中的收缩词。

使用附魔进行拼写检查

另一个重要的任务是拼写纠正。有时文本存在打字或拼写错误，纠正这些错误对于文本分析至关重要。 pyenchant 库非常适合这个。

首先，我们需要安装 pyenchant 库：

pip install pyenchant

登录后复制

之后，我们可以使用附魔来纠正单词：

import enchant

d = enchant.dict("pt_br")
palavra = "corrigindo"
if d.check(palavra):
    print(f"{palavra} está correta")
else:
    print(f"{palavra} está incorreta, sugestões: {d.suggest(palavra)}")

登录后复制

如果用词不正确，enchant 建议更正。

同义词替换

用同义词替换单词可以丰富文本，避免重复并改进风格。有了wordnet，我们可以轻松找到同义词。

我们可以这样做：

from nltk.corpus import wordnet

def substituir_sinonimos(palavra):
    sinonimos = []
    for syn in wordnet.synsets(palavra, lang='por'):
        for lemma in syn.lemmas():
            sinonimos.append(lemma.name())
    return set(sinonimos)

print(substituir_sinonimos("bom"))  # saída: {'bom', 'legal', 'ótimo', 'excelente'}

登录后复制

在此示例中，replace_synonyms 函数返回给定单词的同义词列表。

替换反义词

与同义词一样，反义词也很有用，尤其是对于情感分析等任务。我们可以使用wordnet来查找反义词：

def substituir_antonimos(palavra):
    antonimos = []
    for syn in wordnet.synsets(palavra, lang='por'):
        for lemma in syn.lemmas():
            if lemma.antonyms():
                antonimos.append(lemma.antonyms()[0].name())
    return set(antonimos)

print(substituir_antonimos("bom"))  # saída: {'mau', 'ruim'}

登录后复制

此函数查找给定单词的反义词。

实际应用

让我们看看这些技术的一些实际应用。

情感分析

情感分析涉及确定文本的极性（正面、负面或中性）。单词替换可以改进此分析。

texto = "eu adorei o filme, mas a comida estava ruim."
palavras = word_tokenize(texto, language='portuguese')
polaridade = 0

for palavra in palavras:
    sinsets = wordnet.synsets(palavra, lang='por')
    if sinsets:
        for syn in sinsets:
            polaridade += syn.pos_score() - syn.neg_score()

print("polaridade do texto:", polaridade)  # saída: polaridade do texto: 0.25 (por exemplo)

登录后复制

文本规范化

文本规范化涉及将文本转换为一致的形式。这可能包括拼写检查、删除停用词和替换同义词。

stopwords = set(stopwords.words('portuguese'))
texto = "a análise de textos é uma área fascinante do pln."
palavras = word_tokenize(texto, language='portuguese')
palavras_filtradas = [w for w in palavras se não w in stopwords]

texto_normalizado = " ".join(palavras_filtradas)
print(texto_normalizado)  # saída: "análise textos área fascinante pln"

登录后复制

改进的文本搜索

在搜索引擎中，替换同义词可以通过查找使用搜索关键字的同义词的文档来改善搜索结果。

consulta = "bom filme"
consulta_expandidas = []

for palavra em consulta.split():
    sinonimos = substituir_sinonimos(palavra)
    consulta_expandidas.extend(sinonimos)

print("Consulta expandida:", " ".join(consulta_expandidas))  # Saída: "bom legal ótimo excelente filme"

登录后复制