Java字符串唯一词汇计数教程

本文详细介绍如何在java中统计字符串中不重复的词汇数量。通过将输入字符串分割成单个单词，并利用`arraylist`数据结构检查并存储唯一词汇，可以有效地实现词汇去重计数。教程将提供具体的实现方法和代码示例，并讨论标点符号处理、大小写敏感性以及性能考量等关键注意事项，帮助读者理解并应用此技术。

问题分析与方法选择

在处理字符串时，有时我们需要统计其中不重复的词汇数量，而非所有词汇的总数。例如，字符串 "A long long time ago" 包含 5 个词汇，但只有 "A", "long", "time", "ago" 4 个唯一词汇。本教程的目标是实现一个方法，接收一个字符串作为参数，并返回其中唯一词汇的数量。

针对“不允许使用哈希表（如 HashSet）等高级数据结构”的限制，我们可以采用 ArrayList 结合线性查找 (contains() 方法) 来实现词汇去重。尽管 ArrayList 的 contains() 方法在最坏情况下时间复杂度为 O(n)，但对于基本需求和在不允许使用哈希表的情况下，它是一个可行的解决方案。

核心算法实现

实现唯一词汇计数的步骤如下：

1. 字符串分割： 将输入的原始字符串根据空格或其他分隔符分割成独立的单词数组。
2. 唯一词汇收集： 创建一个空的 ArrayList 用于存储已经遇到的唯一词汇。
3. 迭代检查： 遍历分割后的单词数组。对于每个单词，检查它是否已经存在于唯一词汇列表中。
4. 添加与计数： 如果单词不在列表中，则将其添加到列表中。最终，列表的大小即为唯一词汇的数量。

代码示例

以下是一个实现上述逻辑的Java方法：

Molica AI

一款聚合了多种AI工具的一站式创作平台

下载

立即学习“Java免费学习笔记（深入）”；

import java.util.ArrayList;
import java.util.List;

public class WordCounter {

    /**
     * 统计字符串中唯一词汇的数量。
     * 该方法会处理标点符号，并将所有词汇转换为小写以进行不区分大小写的比较。
     *
     * @param s 输入字符串
     * @return 字符串中唯一词汇的数量
     */
    public static int countUniqueWords(String s) {
        if (s == null || s.trim().isEmpty()) {
            return 0;
        }

        // 使用正则表达式分割字符串，匹配一个或多个非字母字符作为分隔符
        // 这将有效去除标点符号并处理多个空格
        String[] words = s.toLowerCase().split("[^a-z]+"); 

        List uniqueWords = new ArrayList<>();

        for (String word : words) {
            // 确保单词非空，因为split可能会产生空字符串（例如 "hello,,world"）
            if (!word.isEmpty() && !uniqueWords.contains(word)) {
                uniqueWords.add(word);
            }
        }
        return uniqueWords.size();
    }

    public static void main(String[] args) {
        String input1 = "A long long time ago, I can still remember";
        int uniqueCount1 = countUniqueWords(input1);
        System.out.println("Input: \"" + input1 + "\"");
        System.out.println("Number of unique words: " + uniqueCount1); // Expected: 8

        String input2 = "Hello world, hello Java! Java is great.";
        int uniqueCount2 = countUniqueWords(input2);
        System.out.println("\nInput: \"" + input2 + "\"");
        System.out.println("Number of unique words: " + unique2); // Expected: 5 (hello, world, java, is, great)

        String input3 = "  test   test   TEST  ";
        int uniqueCount3 = countUniqueWords(input3);
        System.out.println("\nInput: \"" + input3 + "\"");
        System.out.println("Number of unique words: " + uniqueCount3); // Expected: 1 (test)
    }
}

输出示例：

Input: "A long long time ago, I can still remember"
Number of unique words: 8

Input: "Hello world, hello Java! Java is great."
Number of unique words: 5

Input: "  test   test   TEST  "
Number of unique words: 1

代码详解

1. public static int countUniqueWords(String s) 方法：
   • 这是核心方法，接收一个 String 类型的参数 s，并返回一个 int 类型的结果。
   • 空值和空字符串检查： if (s == null || s.trim().isEmpty()) { return 0; } 确保输入字符串为空或只包含空格时，方法能正确返回 0，避免后续操作出现 NullPointerException 或不必要的处理。
   • 字符串预处理与分割：
     • s.toLowerCase()：将整个字符串转换为小写。这是为了实现不区分大小写的词汇计数，例如 "A" 和 "a" 将被视为同一个词。
     • .split("[^a-z]+")：这是关键的分割步骤。它使用正则表达式 [^a-z]+ 作为分隔符。
       • [^a-z] 匹配任何不是小写字母的字符（包括空格、标点符号、数字等）。
       • + 表示匹配一个或多个这样的非字母字符。
       • 这种分割方式能够有效地将字符串中的单词提取出来，同时自动处理掉单词间的标点符号和多个连续的空格。例如，"hello, world!" 会被分割成 "hello" 和 "world"。
   • List uniqueWords = new ArrayList();： 创建一个 ArrayList 来存储在遍历过程中遇到的所有唯一词汇。
   • 遍历与去重：
     • for (String word : words)：遍历 split 方法返回的 words 数组中的每一个单词。
     • if (!word.isEmpty() && !uniqueWords.contains(word))：
       • !word.isEmpty()：由于正则表达式分割可能会在某些情况下产生空字符串（例如，字符串以非字母开头或包含连续的非字母字符，如 " , hello" 会产生一个空字符串），这个条件用于过滤掉这些空字符串。
       • !uniqueWords.contains(word)：这是检查词汇是否唯一的关键步骤。如果 uniqueWords 列表中不包含当前单词，则说明它是第一次出现。
     • uniqueWords.add(word);：如果单词是唯一的且非空，则将其添加到 uniqueWords 列表中。
   • 返回结果： return uniqueWords.size(); 最终返回 uniqueWords 列表的大小，即为字符串中唯一词汇的数量。

注意事项与扩展

1. 标点符号处理：
   • 示例代码中的 split("[^a-z]+") 正则表达式已经很好地处理了标点符号，它会把非字母字符作为分隔符。这意味着 "hello,world" 会被正确地识别为 "hello" 和 "world"。
   • 如果需要保留某些标点符号（例如连字符），或者需要更复杂的词汇定义，则需要调整正则表达式。
2. 大小写敏感性：
   • 示例代码通过 s.toLowerCase() 将所有字符转换为小写，实现了不区分大小写的词汇计数（"Java" 和 "java" 算作同一个词）。
   • 如果需要区分大小写（"Java" 和 "java" 算作两个不同的词），则应移除 toLowerCase() 调用。
3. 性能考量：
   • 对于非常长的字符串或包含大量唯一词汇的字符串，ArrayList.contains() 方法的性能会成为瓶颈。contains() 方法需要遍历列表中的所有元素进行比较，其时间复杂度为 O(n)，因此整个去重过程的平均时间复杂度可能达到 O(N*L)，其中 N 是词汇总数，L 是唯一词汇列表的平均长度。
   • 在允许使用更高级数据结构的情况下，java.util.HashSet 是更优的选择。HashSet 内部使用哈希表实现，其 add() 方法在平均情况下的时间复杂度为 O(1)，因此整个去重过程的时间复杂度可以达到 O(N)。
4. 词汇定义：
   • 当前实现将所有连续的字母序列视为一个词汇。如果需要处理数字、缩写、复合词等更复杂的词汇定义，可能需要更精细的文本预处理和分词逻辑。
5. 内存使用：
   • ArrayList 会存储所有唯一的词汇。对于包含大量长唯一词汇的字符串，这可能会占用较多内存。

总结

本教程提供了一个在Java中统计字符串唯一词汇数量的实用方法，特别考虑了在不使用哈希表等高级数据结构限制下的实现。通过字符串分割、转换为小写和利用 ArrayList 的 contains() 方法进行线性查找，我们能够有效地完成词汇去重计数。同时，教程也强调了在实际应用中需要考虑的标点符号处理、大小写敏感性以及性能等重要因素，为读者提供了全面的理解和应用指导。