如何使用Java进行词频统计 Java统计词频的实例方法

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.Arrays;
import java.util.Comparator;
import java.util.HashMap;
import java.util.Map;
import java.util.stream.Collectors;

public class WordFrequencyCounter {

    /**
     * 统计给定文本内容的词频。
     * 进行了简单的预处理：转换为小写，移除标点符号。
     *
     * @param text 要统计词频的文本内容
     * @return 包含词语及其出现次数的Map
     */
    public Map<String, Integer> countWords(String text) {
        if (text == null || text.trim().isEmpty()) {
            return new HashMap<>();
        }

        // 1. 文本预处理：转换为小写，移除除了字母和空格之外的所有字符
        // 这一步很关键，它决定了我们“看”到的词语是什么样子
        String cleanedText = text.toLowerCase().replaceAll("[^a-z\s]", " ");

        // 2. 分割文本为词语数组
        // 使用空格作为分隔符，并过滤掉空字符串（例如，多个空格连在一起会产生空字符串）
        String[] words = cleanedText.split("\s+");

        // 3. 使用HashMap统计词频
        Map<String, Integer> wordCounts = new HashMap<>();
        for (String word : words) {
            if (!word.trim().isEmpty()) { // 再次确保不是空词
                wordCounts.put(word, wordCounts.getOrDefault(word, 0) + 1);
            }
        }
        return wordCounts;
    }

    /**
     * 演示如何使用Java 8 Stream API更简洁地实现词频统计。
     * 这种方式在代码可读性和表达力上，个人觉得更胜一筹。
     *
     * @param text 要统计词频的文本内容
     * @return 包含词语及其出现次数的Map
     */
    public Map<String, Long> countWordsWithStreams(String text) {
        if (text == null || text.trim().isEmpty()) {
            return new HashMap<>();
        }

        return Arrays.stream(text.toLowerCase().replaceAll("[^a-z\s]", " ").split("\s+"))
                .filter(word -> !word.trim().isEmpty())
                .collect(Collectors.groupingBy(word -> word, Collectors.counting()));
    }

    public static void main(String[] args) {
        WordFrequencyCounter counter = new WordFrequencyCounter();

        String sampleText = "Java is a programming language. Java is widely used. Learn Java, enjoy Java!";
        System.out.println("--- 传统方法统计 ---");
        Map<String, Integer> traditionalCounts = counter.countWords(sampleText);
        traditionalCounts.entrySet().stream()
                .sorted(Map.Entry.comparingByValue(Comparator.reverseOrder()))
                .forEach(entry -> System.out.println(entry.getKey() + ": " + entry.getValue()));

        System.out.println("
--- Stream API方法统计 ---");
        Map<String, Long> streamCounts = counter.countWordsWithStreams(sampleText);
        streamCounts.entrySet().stream()
                .sorted(Map.Entry.comparingByValue(Comparator.reverseOrder()))
                .forEach(entry -> System.out.println(entry.getKey() + ": " + entry.getValue()));

        // 尝试从文件读取并统计
        System.out.println("
--- 从文件读取并统计 (Stream API) ---");
        try {
            String fileContent = Files.readString(Paths.get("sample.txt")); // 假设有sample.txt文件
            Map<String, Long> fileWordCounts = counter.countWordsWithStreams(fileContent);
            fileWordCounts.entrySet().stream()
                    .sorted(Map.Entry.comparingByValue(Comparator.reverseOrder()))
                    .limit(10) // 只显示前10个高频词
                    .forEach(entry -> System.out.println(entry.getKey() + ": " + entry.getValue()));
        } catch (IOException e) {
            System.err.println("读取文件失败，请确保 'sample.txt' 存在并有内容。错误信息: " + e.getMessage());
            // 随便写点内容到sample.txt方便测试
            try {
                Files.writeString(Paths.get("sample.txt"), "This is a test file for word frequency counting. This file contains some words. Test, test, test.");
                System.out.println("已创建 'sample.txt' 文件，请重新运行程序以查看结果。");
            } catch (IOException ex) {
                System.err.println("创建 'sample.txt' 也失败了: " + ex.getMessage());
            }
        }
    }
}