Python文本清洗：高效移除特殊字符与词频统计教程

import re

def clean_text_and_tokenize(text_input):
    """
    清洗文本，移除特殊字符，并将其分割成单词列表。

    Args:
        text_input (str): 待处理的原始文本。

    Returns:
        list: 清洗并分割后的单词列表。
    """
    # 将文本转换为小写并分割成单词列表
    original_list = text_input.lower().split()

    # 定义要移除的特殊字符的正则表达式模式
    # 方括号内的字符会被匹配，r前缀表示这是一个原始字符串
    special_chars_pattern = r"[!,.?;:#$%^&*(),]"

    cleaned_words = []
    for word in original_list:
        # 使用re.sub()将单词中的特殊字符替换为空字符串
        cleaned_word = re.sub(special_chars_pattern, "", word)
        # 确保替换后不是空字符串才添加到列表中（例如，如果原始词是"!"）
        if cleaned_word:
            cleaned_words.append(cleaned_word)

    return cleaned_words

# 示例输入
input_text = 'Strings implement all of the common sequence operations, along with the additional methods described below.'
expected_output = ['strings', 'implement', 'all', 'of', 'the', 'common', 'sequence', 'operations', 'along', 'with', 'the', 'additional', 'methods', 'described', 'below']

# 执行清洗和分词
result_list = clean_text_and_tokenize(input_text)
print(f"原始输入: '{input_text}'")
print(f"清洗后的单词列表: {result_list}")
# 验证结果
assert result_list == expected_output

from collections import Counter

def count_word_frequency(word_list):
    """
    统计单词列表中每个单词的出现频率。

    Args:
        word_list (list): 包含单词的列表。

    Returns:
        collections.Counter: 包含单词及其频率的Counter对象。
    """
    return Counter(word_list)

# 沿用之前的清洗结果
# result_list = ['strings', 'implement', 'all', 'of', 'the', 'common', 'sequence', 'operations', 'along', 'with', 'the', 'additional', 'methods', 'described', 'below']

# 统计词频
word_counts = count_word_frequency(result_list)
print(f"单词频率统计: {word_counts}")

# 获取最常见的词
print(f"最常见的3个词: {word_counts.most_common(3)}")

import re
from collections import Counter

def process_text_for_analysis(text_input):
    """
    执行完整的文本预处理流程：
    1. 将文本转换为小写。
    2. 移除特殊字符。
    3. 分割成单词列表。
    4. 统计单词频率。

    Args:
        text_input (str): 待处理的原始文本。

    Returns:
        tuple: 包含 (清洗后的单词列表, 单词频率统计Counter对象)。
    """
    # 1. 清洗文本并分词
    cleaned_words = clean_text_and_tokenize(text_input) # 调用之前定义的函数

    # 2. 统计词频
    word_frequencies = Counter(cleaned_words)

    return cleaned_words, word_frequencies

# 示例输入
input_text_full = 'Strings implement all of the common sequence operations, along with the additional methods described below. Strings are immutable.'

# 执行完整流程
cleaned_words_final, word_counts_final = process_text_for_analysis(input_text_full)

print("\n--- 完整处理结果 ---")
print(f"原始输入: '{input_text_full}'")
print(f"清洗后的单词列表: {cleaned_words_final}")
print(f"单词频率统计: {word_counts_final}")
print(f"最常见的词: {word_counts_final.most_common(1)}")