Pandas DataFrame长文本按句切分与定长处理教程

pip install pandas nltk

import nltk
nltk.download('punkt')

import pandas as pd
import nltk

def split_sentences_by_length(text, max_len=300, prefix='col'):
    """
    将长文本按句子切分，并组合成不超过max_len的文本块。
    每个文本块都以完整的句子结束。

    Args:
        text (str): 待切分的原始文本。
        max_len (int): 每个文本块的最大字符长度。
        prefix (str): 生成新列的名称前缀。

    Returns:
        pd.Series: 包含切分后文本块的Pandas Series，列名带有前缀和序号。
    """
    out = []  # 存储最终的文本块
    current_chunk_sentences = []  # 存储当前文本块中的句子
    current_chunk_length = 0  # 存储当前文本块的长度

    # 使用nltk进行句子分词
    sentences = nltk.sent_tokenize(text)

    for sentence in sentences:
        sentence_len = len(sentence)
        # 计算将当前句子添加到当前文本块后的潜在长度
        # 如果当前文本块非空，则需要加上一个空格的长度
        potential_new_length = current_chunk_length + sentence_len + (1 if current_chunk_length > 0 else 0)

        # 检查是否满足以下条件之一以开始一个新的文本块：
        # 1. 添加当前句子会使总长度超过max_len，且当前文本块中已有句子。
        #    在这种情况下，我们保存当前文本块，然后用当前句子开始新的文本块。
        # 2. 当前句子本身就超过了max_len。
        #    在这种情况下，我们将其作为一个独立的文本块（不拆分句子），
        #    并清空当前文本块以准备下一个。
        if potential_new_length > max_len and current_chunk_length > 0:
            out.append(' '.join(current_chunk_sentences))
            current_chunk_sentences = [sentence]
            current_chunk_length = sentence_len
        elif sentence_len > max_len:
            # 如果句子本身就太长，将其作为一个单独的块。
            # 先保存之前累积的任何句子（如果存在）。
            if current_chunk_sentences:
                out.append(' '.join(current_chunk_sentences))
            out.append(sentence) # 将过长的句子作为独立的块
            current_chunk_sentences = [] # 重置，为下一个块做准备
            current_chunk_length = 0
        else:
            # 否则，将句子添加到当前文本块
            current_chunk_sentences.append(sentence)
            current_chunk_length = potential_new_length

    # 添加循环结束后剩余的任何句子作为最后一个文本块
    if current_chunk_sentences:
        out.append(' '.join(current_chunk_sentences))

    # 将结果转换为Pandas Series，并使用前缀命名列
    return pd.Series(out).rename(lambda x: f'{prefix}_{x+1}')