JavaScript 中基于状态机的文本分词与带引号短语处理教程

function splitToWordsWithQuotes(str) {
    let mode = null; // null: 初始状态/空白区域, 'word': 正在构建单词, 'phrase': 正在构建短语
    const words = []; // 存储最终分词结果的数组
    let word = '';    // 临时变量，用于构建当前正在处理的词语或短语

    // 辅助函数：完成当前词语/短语的构建，并将其添加到结果数组中
    const completeWord = () => {
        if (word.length > 0) { // 只有当word不为空时才添加
            words.push(word);
        }
        word = ''; // 重置临时变量
    };

    for (let i = 0; i < str.length; i++) {
        const c = str[i]; // 当前字符

        if (mode === null) { // 初始状态或处于空白区域
            if (c === ' ') {
                continue; // 跳过空格
            }
            if (c === '"') {
                mode = 'phrase'; // 遇到双引号，进入短语模式
            } else {
                word += c; // 遇到非空格非引号字符，开始构建单词
                mode = 'word'; // 进入单词模式
            }
            continue;
        }

        if (c === '"') { // 遇到双引号
            completeWord(); // 完成当前词语或短语
            // 切换模式：如果当前是单词模式，则下一个是短语模式（尽管这通常意味着一个新词的开始，且这里没有处理转义引号）
            // 如果当前是短语模式，则表示短语结束，回到等待新词的模式（null）
            mode = null; // 遇到结束引号后，回到初始/空白状态，等待下一个词或短语
            continue;
        }

        if (c === ' ') { // 遇到空格
            if (mode === 'phrase') {
                word += ' '; // 如果在短语模式，空格是短语的一部分
                continue;
            }
            // 如果在单词模式，空格表示单词结束
            completeWord();
            mode = null; // 回到初始/空白状态
            continue;
        }

        // 其他字符：添加到当前词语或短语中
        word += c;
    }

    // 循环结束后，如果word中还有内容，需要完成最后的词语/短语
    completeWord();

    return words;
}

const myStr = '    "hello guys", some     words with "quotes inside"" some spaces inside " please keep quoted words as one "phrase / word" end-of-line ';
const myWrongStr = '"hello guys", some words" with "quotes inside" please keep quoted words as one "phrase / word" ';

console.log('--- 正常输入 ---');
console.log('输入:', myStr);
console.log('输出:', splitToWordsWithQuotes(myStr));
// 预期输出: ["hello guys", "some", "words", "with", "quotes inside", "some", "spaces", "inside", "please keep quoted words as one", "phrase / word", "end-of-line"]

console.log('\n--- 包含未闭合引号的输入 ---');
console.log('输入:', myWrongStr);
console.log('输出:', splitToWordsWithQuotes(myWrongStr));
// 预期输出: ["hello guys", "some", "words\" with ", "quotes inside", "please keep quoted words as one", "phrase / word"]
// 注意：未闭合的引号 "words" 被处理为 "words\" with "，因为第二个引号被当作了短语的结束。