JavaScript字符串解析：智能拆分单词并保留双引号短语

核心概念：有限状态机（FSM）解析

有限状态机是一种数学模型，用于描述系统在不同状态之间转换的行为。在字符串解析的场景中，我们可以定义几个状态来表示解析器当前正在处理的文本类型：

1. 初始/空闲状态 (Initial/Idle State): 解析器等待接收下一个字符，并根据字符类型决定进入何种工作模式。
2. 单词模式 (Word Mode): 解析器正在累积一个普通的单词。
3. 短语模式 (Phrase Mode): 解析器正在累积一个双引号内的短语。

通过在这些状态之间切换，并根据当前字符和当前状态执行不同的操作，我们可以精确地识别出独立的单词和完整的带引号短语。

实现细节与代码解析

下面我们将通过一个JavaScript函数 splitToWordsWithQuotes 来演示如何使用FSM思想实现字符串的智能分词。

function splitToWordsWithQuotes(str) {
    let mode; // 当前解析模式：'word' (普通单词) 或 'phrase' (引号内短语)
    const words = []; // 存储最终拆分出的单词和短语
    let word = ''; // 临时缓冲区，用于累积当前正在解析的单词或短语

    // 辅助函数：将当前累积的word添加到words数组中，并清空word缓冲区
    const completeWord = () => {
        if (word) { // 只有当word不为空时才添加
            words.push(word);
            word = '';
        }
    };

    for (let i = 0; i < str.length; i++) {
        const c = str[i]; // 当前字符

        // 状态一：初始/空闲状态，尚未确定解析模式
        if (!mode) {
            if (c === ' ') {
                continue; // 忽略开头的空格
            }
            if (c === '"') {
                mode = 'phrase'; // 遇到双引号，进入短语模式
            } else {
                word += c; // 遇到非空格非引号字符，开始累积单词
                mode = 'word'; // 进入单词模式
            }
            continue; // 处理下一个字符
        }

        // 状态二：已进入某种解析模式

        // 遇到双引号
        if (c === '"') {
            completeWord(); // 结束当前单词或短语的累积
            // 切换模式：如果当前是单词模式，遇到引号表示进入短语；反之，表示短语结束进入单词
            mode = mode === 'word' ? 'phrase' : 'word';
            continue; // 处理下一个字符
        }

        // 遇到空格
        if (c === ' ') {
            if (mode === 'phrase') {
                word += ' '; // 在短语模式下，空格是短语的一部分，累积到word中
                continue; // 处理下一个字符
            }
            // 在单词模式下，空格是分隔符
            completeWord(); // 结束当前单词的累积
            // 保持当前模式不变（或可以理解为回到空闲状态等待下一个非空格字符）
            continue; // 处理下一个字符
        }

        // 遇到其他字符（字母、数字等）
        word += c; // 累积到当前单词或短语中
    }

    // 循环结束后，确保将最后一个累积的word添加到words数组中
    completeWord();

    return words;
}

代码解析要点：

• mode 变量： 这是FSM的核心，它跟踪解析器的当前状态（'word' 或 'phrase'）。
• words 数组与 word 缓冲区： word 用于临时存储正在构建的词语或短语，当一个词语/短语完成时，通过 completeWord() 函数将其推入 words 数组。
• completeWord() 辅助函数： 封装了将缓冲区内容添加到结果列表并清空缓冲区的逻辑，避免代码重复。
• 字符遍历与状态判断：
  • 初始状态 (!mode)： 负责跳过前导空格，并根据遇到的第一个非空格字符确定是进入 word 模式还是 phrase 模式。
  • 遇到双引号 (c === '"')： 这是一个关键的切换点。它总是表示当前词语/短语的结束，并切换解析模式。
  • 遇到空格 (c === ' ')：
    • 在 phrase 模式下，空格被视为短语内容的一部分，直接累积。
    • 在 word 模式下，空格被视为分隔符，触发 completeWord()。
  • 遇到其他字符： 无论是 word 模式还是 phrase 模式，这些字符都被累积到 word 缓冲区中。
• 循环结束后的处理： completeWord() 在循环结束后再次调用，确保字符串末尾的最后一个词语或短语也被正确收集。

示例与输出

让我们使用一些示例来验证这个解析器的功能：

FineVoice语音克隆

免费在线语音克隆，1 分钟克隆你的声音，保留口音和所有细微差别。

61

查看详情

立即学习“Java免费学习笔记（深入）”；

const myStr = '    "hello guys", some     words with "quotes inside"" some spaces inside " please keep quoted words as one "phrase / word" end-of-line ';
const mySimpleStr = '"on time" "flight"';

console.log('--- 复杂字符串示例 ---');
console.log('原始字符串:', myStr);
console.log('解析结果:', splitToWordsWithQuotes(myStr));
// 预期输出: ["hello guys", ",", "some", "words", "with", "quotes inside", "some", "spaces", "inside", "please", "keep", "quoted", "words", "as", "one", "phrase / word", "end-of-line"]

console.log('\n--- 简单字符串示例 ---');
console.log('原始字符串:', mySimpleStr);
console.log('解析结果:', splitToWordsWithQuotes(mySimpleStr));
// 预期输出: ["on time", "flight"]

如上所示，splitToWordsWithQuotes 函数能够正确处理前导/尾随空格、多个空格分隔符，以及最关键的——将双引号内的短语作为一个整体进行识别和提取。

注意事项与扩展思考

1. 未闭合的引号： 当前的FSM实现对于未闭合的引号（例如 "hello world）不会抛出错误，而是会将其余部分当作一个普通单词处理。如果需要严格的引号匹配，可能需要引入额外的错误状态或在循环结束后检查 mode 是否仍为 'phrase'。

   const myWrongStr = '"hello guys", some words" with "quotes inside" please keep quoted words as one "phrase / word" ';
   console.log('\n--- 未闭合引号示例 ---');
   console.log('原始字符串:', myWrongStr);
   console.log('解析结果:', splitToWordsWithQuotes(myWrongStr));
   // 结果可能不是你想要的，例如 "words" 会被拆分成 "words" 而不是 "words"
   // 并且 "phrase / word" 后的引号没有关闭，会导致后续文本被错误解析

   登录后复制
2. 转义引号： 如果字符串中存在转义的引号（例如 \"），当前的解析器会将其视为普通字符。要支持转义引号，需要在遇到 \ 字符时增加额外的逻辑来处理。
3. 性能： 对于极长的字符串，逐字符遍历的性能通常是可接受的。如果性能成为瓶颈，可以考虑使用更底层的语言特性或优化字符串操作。
4. 后续处理： 本文的FSM主要解决了字符串的“拆分”问题。如果需要将拆分后的短语进一步格式化（例如，将 ["on time", "flight"] 转换为 ""ON TIME"FLIGHT"），则需要在此解析结果的基础上进行二次处理。例如：

   const tokens = splitToWordsWithQuotes('"on time" "flight"'); // ["on time", "flight"]
   const formattedOutput = tokens.map(token => {
       if (token.includes(' ')) { // 简单判断是否为多词短语
           return `"${token.toUpperCase()}"`;
       }
       return token.toUpperCase();
   }).join(''); // 假设需要连接成一个字符串
   console.log('\n--- 格式化示例 ---');
   console.log('格式化后的输出:', formattedOutput); // ""ON TIME"FLIGHT"

   登录后复制

总结

通过采用有限状态机的方法，我们可以构建一个健壮的JavaScript字符串解析器，有效地解决在复杂文本中区分普通单词和带引号短语的挑战。这种方法不仅提供了精确的分词能力，也为处理更复杂的字符串解析需求（如支持转义字符、处理不同类型的引号等）奠定了基础。理解并应用FSM模式，能够显著提升我们处理字符串数据的能力和代码的专业性。

以上就是JavaScript字符串解析：智能拆分单词并保留双引号短语的详细内容，更多请关注php中文网其它相关文章！