Java实现：高效查找文本数据中最常见的连续词组（N-gram）

HashMap<String, Integer> nGramMap = new HashMap<>();

import java.util.ArrayList;
import java.util.HashMap;
import java.util.Map;

public class NGramAnalyzer {

    /**
     * 查找给定句子列表中最常见的N-gram（连续词组）。
     * 本示例特指Bigram (N=2)。
     *
     * @param sentence 一个包含多个句子的列表，每个句子又是一个词语列表。
     *                 假定词语已经过预处理（分词、去除标点、小写化等）。
     * @return 最常见的Bigram字符串。如果输入为空或无法生成Bigram，返回空字符串。
     */
    public static String getMostCommonNGram(ArrayList<ArrayList<String>> sentence) {
        // 用于存储N-gram及其出现频率的HashMap
        HashMap<String, Integer> nGramMap = new HashMap<>();

        // 遍历每个句子
        for (ArrayList<String> words : sentence) {
            // 对于每个句子，遍历其词语列表以创建N-gram
            // 对于Bigram (N=2)，我们需要从i=0遍历到words.size() - 2
            // 确保有足够的词语来形成一个Bigram
            for (int i = 0; i < words.size() - 1; i++) {
                // 构建Bigram字符串
                String nGram = words.get(i) + " " + words.get(i + 1);

                // 检查N-gram是否已存在于map中
                Integer count = nGramMap.get(nGram);

                // 如果不存在，则添加并设置计数为1
                if (count == null) {
                    nGramMap.put(nGram, 1);
                } else {
                    // 如果存在，则增加计数
                    nGramMap.put(nGram, count + 1);
                }
            }
        }

        // 找出频率最高的N-gram
        String mostCommonNGram = "";
        int maxCount = 0;

        // 遍历nGramMap的所有键值对
        for (Map.Entry<String, Integer> entry : nGramMap.entrySet()) {
            String nGram = entry.getKey();
            int count = entry.getValue();

            // 如果当前N-gram的计数大于当前最大计数，则更新
            if (count > maxCount) {
                maxCount = count;
                mostCommonNGram = nGram;
            }
        }
        return mostCommonNGram;
    }

    public static void main(String[] args) {
        // 示例数据：预处理后的句子列表
        ArrayList<ArrayList<String>> sentences = new ArrayList<>();

        // 句子1
        ArrayList<String> s1 = new ArrayList<>();
        s1.add("java");
        s1.add("programming");
        s1.add("is");
        s1.add("fun");
        sentences.add(s1);

        // 句子2
        ArrayList<String> s2 = new ArrayList<>();
        s2.add("i");
        s2.add("love");
        s2.add("java");
        s2.add("programming");
        sentences.add(s2);

        // 句子3
        ArrayList<String> s3 = new ArrayList<>();
        s3.add("java");
        s3.add("is");
        s3.add("powerful");
        sentences.add(s3);

        // 句子4
        ArrayList<String> s4 = new ArrayList<>();
        s4.add("programming");
        s4.add("is");
        s4.add("challenging");
        sentences.add(s4);

        String commonNGram = getMostCommonNGram(sentences);
        System.out.println("最常见的N-gram (Bigram): " + commonNGram); // 预期输出: java programming
    }
}