Java中查找最常见的N-gram短语：一个教程

// 示例输入数据结构
ArrayList<ArrayList<String>> sentence = new ArrayList<>();
// 假设 'sentence' 已经被填充了类似以下的数据：
// sentence.add(Arrays.asList("this", "is", "a", "sample", "sentence"));
// sentence.add(Arrays.asList("another", "sample", "sentence", "for", "testing"));
// sentence.add(Arrays.asList("this", "is", "another", "example"));

import java.util.ArrayList;
import java.util.HashMap;
import java.util.Map; // 导入Map接口以更好地遍历

public class NGramAnalyzer {

    /**
     * 在给定的句子列表中查找最常见的二元词组 (Bigram)。
     *
     * @param sentence 一个包含多个句子（每个句子是一个词语列表）的ArrayList。
     * @return 最常见的二元词组字符串，如果列表为空或无法形成二元词组，则返回空字符串。
     */
    public static String getMostCommonNGram(ArrayList<ArrayList<String>> sentence) {
        // 用于存储N-gram及其出现频率的HashMap
        HashMap<String, Integer> nGramMap = new HashMap<>();

        // 遍历每个句子
        for (ArrayList<String> words : sentence) {
            // 确保句子中有足够的词语来形成二元词组
            // 如果句子只有一个词或没有词，则无法形成二元词组
            if (words.size() < 2) {
                continue; // 跳过当前句子
            }

            // 遍历句子中的词语，生成二元词组
            // 注意循环条件是 words.size() - 1，以避免索引越界
            for (int i = 0; i < words.size() - 1; i++) {
                // 将当前词和下一个词拼接成一个二元词组
                String nGram = words.get(i) + " " + words.get(i + 1);

                // 检查该二元词组是否已存在于Map中
                // 使用getOrDefault方法可以简化代码，如果不存在则返回默认值0
                nGramMap.put(nGram, nGramMap.getOrDefault(nGram, 0) + 1);
            }
        }

        // 如果没有N-gram被统计，返回空字符串
        if (nGramMap.isEmpty()) {
            return "";
        }

        // 查找出现频率最高的N-gram
        String mostCommonNGram = "";
        int maxCount = 0;

        // 遍历HashMap的entrySet以同时获取键和值
        for (Map.Entry<String, Integer> entry : nGramMap.entrySet()) {
            String nGram = entry.getKey();
            int count = entry.getValue();

            if (count > maxCount) {
                maxCount = count;
                mostCommonNGram = nGram;
            }
        }
        return mostCommonNGram;
    }

    public static void main(String[] args) {
        // 示例用法
        ArrayList<ArrayList<String>> sentences = new ArrayList<>();
        ArrayList<String> s1 = new ArrayList<>();
        s1.add("this"); s1.add("is"); s1.add("a"); s1.add("sample"); s1.add("text");
        sentences.add(s1);

        ArrayList<String> s2 = new ArrayList<>();
        s2.add("another"); s2.add("sample"); s2.add("text"); s2.add("for"); s2.add("analysis");
        sentences.add(s2);

        ArrayList<String> s3 = new ArrayList<>();
        s3.add("this"); s3.add("is"); s3.add("another"); s3.add("example");
        sentences.add(s3);

        ArrayList<String> s4 = new ArrayList<>();
        s4.add("sample"); s4.add("text"); s4.add("is"); s4.add("important");
        sentences.add(s4);

        String mostCommon = getMostCommonNGram(sentences);
        System.out.println("最常见的二元词组是: \"" + mostCommon + "\""); // 预期输出: "sample text"
    }
}