Pandas DataFrame长文本列智能拆分：兼顾长度与句子完整性-Python教程-PHP中文网

Pandas DataFrame长文本列智能拆分：兼顾长度与句子完整性

本教程旨在解决Pandas DataFrame中长文本列（如描述）的处理难题。当文本内容过长，需要拆分为多个固定长度的子列时，传统方法往往难以同时兼顾最大长度限制和句子完整性。本文将介绍如何结合NLTK库进行句子分词，并设计一个自定义函数，实现将长文本智能地分割成不超过指定长度、且每个分块都以完整句子结尾的新列，从而优化数据导入和后续处理流程。

挑战：长文本数据处理与分块需求

在数据分析和处理过程中，我们经常会遇到dataframe中包含长文本字段（例如产品描述、文章内容、用户评论等）的情况。这些文本有时可能超过几千个字符。出于数据存储、导入限制、机器学习模型输入或可视化展示等多种原因，我们可能需要将这些长文本拆分成多个较短的块。

然而，简单的按字符数截断或按特定分隔符（如逗号）拆分，往往会破坏文本的语义完整性。理想的分块方式是既能控制每个块的长度不超过某个上限，又能确保每个块都以一个完整的句子结尾，避免句子被截断。这正是本教程要解决的核心问题。

解决方案概述

为了实现这一目标，我们将结合使用以下技术：

NLTK (Natural Language Toolkit)：一个强大的Python库，用于自然语言处理。我们将利用其 sent_tokenize 功能进行句子分词，确保我们能识别文本中的完整句子。
自定义Python函数：编写一个函数来迭代处理分词后的句子，智能地将它们组合成符合长度限制的文本块。
Pandas apply 方法：将自定义函数高效地应用于DataFrame的指定文本列。

核心实现：自定义分块函数

我们将创建一个名为 split_sentences 的函数，它接收原始文本、最大长度限制以及新生成列的前缀作为参数。

NLTK句子分词准备

在使用NLTK进行句子分词之前，需要确保已下载其 punkt 分词器模型。如果尚未下载，可以通过以下代码完成：

import nltk
try:
    nltk.data.find('tokenizers/punkt')
except nltk.downloader.DownloadError:
    nltk.download('punkt')

登录后复制

自定义分块函数详解

split_sentences 函数的核心逻辑在于遍历由NLTK分词器生成的句子列表，并根据设定的 max_len 限制将这些句子组合起来。

import pandas as pd
import nltk

def split_sentences(text, max_len=300, prefix='text'):
    """
    将长文本按句子和最大长度限制进行分块。

    Args:
        text (str): 待处理的原始长文本。
        max_len (int): 每个分块的最大字符长度。
        prefix (str): 新生成列的名称前缀。

    Returns:
        pd.Series: 包含分块文本的新Series，列名格式为 prefix_1, prefix_2, ...
    """
    if not isinstance(text, str):
        # 处理非字符串输入，例如NaN值
        return pd.Series([None]).rename(lambda x: f'{prefix}_{x+1}')

    out = []  # 存储最终的分块文本
    current_chunk_sentences = []  # 存储当前正在构建的文本块中的句子
    current_chunk_length = 0  # 存储当前文本块的长度

    # 使用NLTK进行句子分词
    sentences = nltk.sent_tokenize(text)

    for sentence in sentences:
        # 估算加上当前句子后，新块的长度。+1 是为了考虑句子之间的空格。
        # 注意：这里假设句子之间会用一个空格连接。
        potential_new_length = current_chunk_length + len(sentence) + (1 if current_chunk_sentences else 0)

        # 如果加上当前句子会超出最大长度限制，则将当前已有的句子组合成一个块
        if potential_new_length > max_len and current_chunk_sentences:
            out.append(' '.join(current_chunk_sentences))
            current_chunk_sentences = []
            current_chunk_length = 0

        # 将当前句子添加到当前块中
        current_chunk_sentences.append(sentence)
        current_chunk_length = len(' '.join(current_chunk_sentences))

    # 处理循环结束后剩余的句子，将其作为最后一个块
    if current_chunk_sentences:
        out.append(' '.join(current_chunk_sentences))

    # 将结果转换为Pandas Series，并设置列名
    return pd.Series(out).rename(lambda x: f'{prefix}_{x+1}')

登录后复制

函数逻辑解释：

初始化：out 列表用于收集最终的分块文本，current_chunk_sentences 存储当前正在构建的文本块中的句子，current_chunk_length 记录当前块的长度。
句子分词：nltk.sent_tokenize(text) 将原始文本拆分成独立的句子列表。
迭代与判断：
- 遍历每个句子。
- 计算如果将当前句子加入 current_chunk_sentences，新的块的总长度将是多少。这里 +1 是为了模拟句子之间通常会有一个空格。
- 关键逻辑：如果加上当前句子会导致 potential_new_length 超过 max_len，并且 current_chunk_sentences 不为空（即当前块中已有内容），则将 current_chunk_sentences 中的所有句子用空格连接起来，形成一个完整的文本块，并将其添加到 out 列表中。然后清空 current_chunk_sentences 和 current_chunk_length，重新开始构建下一个块。
- 无论是否创建了新块，当前句子都会被添加到 current_chunk_sentences 中，并更新 current_chunk_length。
处理剩余句子：循环结束后，如果 current_chunk_sentences 中仍有句子（即最后一个块尚未被添加到 out 中），则将其组合成最后一个块并添加到 out。
返回Series：最终，out 列表被转换为一个Pandas Series，其索引被重命名为 prefix_1, prefix_2 等，以便在DataFrame中形成新的列。

将函数应用于DataFrame

创建了 split_sentences 函数后，我们可以使用Pandas的 apply 方法将其应用于DataFrame中的目标文本列。

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

查看详情

假设我们有一个名为 df 的DataFrame，其中包含一个名为 text 的长文本列。

# 示例数据（使用Lorem Ipsum文本模拟长文本）
lipsum = '''Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed non risus. Suspendisse lectus tortor, dignissim sit amet, adipiscing nec, ultricies sed, dolor. Cras elementum ultrices diam. Maecenas ligula massa, varius a, semper congue, euismod non, mi. Proin porttitor, orci nec nonummy molestie, enim est eleifend mi, non fermentum diam nisl sit amet erat. Duis semper. Duis arcu massa, scelerisque vitae, consequat in, pretium a, enim. Pellentesque congue. Ut in risus volutpat libero pharetra tempor. Cras vestibulum bibendum augue. Praesent egestas leo in pede. Praesent blandit odio eu enim. Pellentesque sed dui ut augue blandit sodales. Vestibulum ante ipsum primis in faucibus orci luctus et ultrices posuere cubilia Curae; Aliquam nibh. Mauris ac mauris sed pede pellentesque fermentum. Maecenas adipiscing ante non diam sodales hendrerit.'''
df = pd.DataFrame({'other_column': [1, 2], 'text': [lipsum, lipsum.upper()]})

# 应用自定义函数到 'text' 列
# 使用 .join() 将新生成的Series（包含分块列）合并回原始DataFrame
# 然后删除原始的 'text' 列
df_split = df.join(df['text'].apply(split_sentences, max_len=300, prefix='text')).drop(columns='text')

print(df_split)

登录后复制

完整示例与结果

运行上述代码，我们将得到一个DataFrame，其中原始的 text 列已被删除，并替换为多个新的列（例如 text_1, text_2, text_3 等），每个新列都包含不超过300个字符且以完整句子结尾的文本块。

示例输出：

   other_column                                              text_1  \
0             1  Lorem ipsum dolor sit amet, consectetur adipis...   
1             2  LOREM IPSUM DOLOR SIT AMET, CONSECTETUR ADIPIS...   

                                              text_2  \
0  Proin porttitor, orci nec nonummy molestie, en...   
1  PROIN PORTTITOR, ORCI NEC NONUMMY MOLESTIE, EN...   

                                              text_3  \
0  Praesent egestas leo in pede. Praesent blandit...   
1  PRAESENT EGESTAS LEO IN PEDE. PRAESENT BLANDIT...   

                                              text_4  
0  Maecenas adipiscing ante non diam sodales hend...  
1  MAECENAS ADIPISCING ANTE NON DIAM SODALES HEND...

登录后复制

从输出中可以看到，原始的长文本被成功拆分成了多个新列，并且每个列中的内容都是由完整的句子组成的，同时长度也得到了有效控制。

注意事项

NLTK punkt 模型下载：首次运行NLTK句子分词时，请确保已下载 punkt 模型。如果网络环境受限，可能需要手动下载并配置NLTK数据路径。
max_len 的选择：max_len 参数应根据实际需求和目标系统的限制进行调整。如果单个句子本身就超过 max_len，该句子仍会被完整地放入一个块中，导致该块的长度超过 max_len。此函数优先保证句子完整性。
性能考虑：对于包含大量行或极长文本的DataFrame，apply 方法的性能可能成为瓶颈。在这种情况下，可以考虑使用 pandarallel 库进行并行化处理，或将文本处理逻辑封装到Cython等更底层的优化方案中。
空值或非字符串处理：在 split_sentences 函数中，我们增加了对非字符串输入的处理，例如 None 或 NaN 值，以避免在 nltk.sent_tokenize 处报错。根据具体需求，可以调整对这些值的处理方式。
句子分隔符：NLTK的 sent_tokenize 对英文文本效果良好，对于其他语言，可能需要加载对应的语言模型或使用其他专门的分词工具。

总结

本教程提供了一种在Pandas DataFrame中智能拆分长文本列的有效方法。通过结合NLTK的句子分词能力和自定义的长度控制逻辑，我们能够将长文本分割成多个符合长度限制且保持句子完整性的新列。这种方法在数据预处理、特征工程以及满足特定数据导入规范时具有重要的实用价值，极大地提高了长文本数据的可管理性和可用性。

以上就是Pandas DataFrame长文本列智能拆分：兼顾长度与句子完整性的详细内容，更多请关注php中文网其它相关文章！