Pandas DataFrame中NLP文本预处理的正确流程与数据类型管理

理解文本预处理中的类型挑战

在进行自然语言处理（nlp）时，文本预处理是至关重要的第一步。然而，当我们在pandas dataframe中处理文本数据时，经常会遇到一个棘手的问题：attributeerror: 'list' object has no attribute 'split' 或 attributeerror: 'str' object has no attribute 'str' 等类型错误。这些错误通常发生在预处理流程中，因为不同的文本操作函数对输入数据的类型有严格要求，而我们的数据类型在处理过程中会从原始字符串变为词语列表，或反之。

核心问题在于：

1. 分词操作（Tokenization）：例如 nltk.word_tokenize，会将一个字符串（如“Hello world!”）转换为一个词语列表（如 ['Hello', 'world', '!']）。
2. 字符串操作：许多常见的文本处理函数，如 str.split(), re.sub(), contractions.fix() 等，都期望接收一个字符串作为输入。
3. 不匹配导致错误：如果在分词后，数据已经是一个词语列表，但我们尝试对整个列表应用一个期望字符串的函数（例如调用 list.split()），就会引发 AttributeError。

解决这一问题的关键在于，在处理列表时，我们需要对列表中的每个元素（即每个词语）进行迭代处理，而不是将整个列表作为一个整体字符串来处理。这通常通过列表推导式（list comprehension）在 apply 函数内部实现。

构建健壮的预处理管道

下面我们将详细介绍一个在Pandas DataFrame中实现文本预处理的完整流程，并着重说明如何管理数据类型以避免常见错误。

文心大模型

百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

56

查看详情

1. 准备工作：导入库与初始化

首先，我们需要导入所有必要的库，并初始化一些全局变量，如词形还原器、停用词列表和POS标签映射。

import pandas as pd
import nltk
import re
import string
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet
from unidecode import unidecode
import contractions
# from textblob import TextBlob # 示例代码中已注释，此处作为可选引入

# 下载NLTK必要资源
nltk.download('punkt')
nltk.download('stopwords')
nltk.download('wordnet')
nltk.download('averaged_perceptron_tagger')

# 初始化词形还原器和POS标签映射
lemmatizer = WordNetLemmatizer()
# WordNetLemmatizer 需要词性标签来更准确地还原词形
pos_tag_dict = {"J": wordnet.ADJ, "N": wordnet.NOUN, "V": wordnet.VERB, "R": wordnet.ADV}

# 定义停用词
local_stopwords = set(stopwords.words('english'))
additional_stopwords = ["http", "u", "get", "like", "let", "nan"]
local_stopwords.update(additional_stopwords)
# 排除不想移除的词（如果它们在停用词列表中）
words_to_keep = ["i'", " i ", "me", "my", "we", "our", "us"]
for word in words_to_keep

以上就是Pandas DataFrame中NLP文本预处理的正确流程与数据类型管理的详细内容，更多请关注php中文网其它相关文章！