文本分词与带引号短语保留的JavaScript实现

function splitToWordsWithQuotes(str) {
    let mode = null; // null: 初始状态/空白状态, 'word': 正在解析词语, 'phrase': 正在解析短语
    const words = []; // 存储解析出的词语和短语
    let currentToken = ''; // 临时存储当前正在构建的词语或短语

    // 辅助函数：完成当前词语/短语的收集，并重置 currentToken
    const completeToken = () => {
        if (currentToken.length > 0) { // 只有当 currentToken 非空时才添加
            words.push(currentToken);
            currentToken = '';
        }
    };

    for (let i = 0; i < str.length; i++) {
        const char = str[i];

        // 1. 初始状态或空白状态 (mode 为 null)
        if (mode === null) {
            if (char === ' ') {
                continue; // 跳过前导空格
            }
            if (char === '"') {
                mode = 'phrase'; // 遇到双引号，进入短语模式
            } else {
                currentToken += char;
                mode = 'word'; // 遇到非空格非引号字符，进入词语模式
            }
            continue;
        }

        // 2. 处理双引号字符
        if (char === '"') {
            completeToken(); // 遇到引号，意味着当前词语/短语结束
            // 切换模式：如果当前是词语模式，则下一个是短语；如果是短语模式，则下一个是词语。
            // 实际上，这里是结束当前短语模式，并准备进入下一个词语模式 (或等待下一个引号进入短语模式)
            // 修正：当遇到引号时，总是结束当前模式，并将模式设为 null，等待下一个字符决定新模式。
            // 更精确的做法是：如果当前是 phrase 模式，引号表示短语结束，回到 null 模式。
            // 如果当前是 word 模式，引号表示词语结束，进入 phrase 模式。
            // 考虑到FSM的简洁性，这里可以简化为：引号总是完成当前token，并切换模式。
            // 如果当前是 'word' 模式，遇到 '"'，表示词语结束，进入 'phrase' 模式。
            // 如果当前是 'phrase' 模式，遇到 '"'，表示短语结束，回到 'null' 模式（等待下一个token的开始）。
            mode = (mode === 'phrase') ? null : 'phrase';
            continue;
        }

        // 3. 处理空格字符
        if (char === ' ') {
            if (mode === 'phrase') {
                currentToken += ' '; // 在短语模式下，空格是短语内容的一部分
                continue;
            }
            // 在词语模式下，空格表示当前词语结束
            completeToken();
            mode = null; // 回到 null 模式，等待下一个词语或短语的开始
            continue;
        }

        // 4. 处理其他字符 (字母、数字等)
        currentToken += char; // 将字符添加到当前词语/短语中
        // 如果当前是 null 模式，且遇到非空格非引号字符，则进入 'word' 模式
        if (mode === null) {
            mode = 'word';
        }
    }

    // 循环结束后，确保最后一个词语/短语被收集
    completeToken();

    return words;
}

const myStr = '    "hello guys", some     words with "quotes inside" some spaces inside " please keep quoted words as one "phrase / word" end-of-line ';
const myWrongStr = '"hello guys", some words" with "quotes inside" please keep quoted words as one "phrase / word" '; // 包含未闭合引号的示例

console.log('--- 正常输入示例 ---');
console.log('输入:', myStr);
console.log('输出:', splitToWordsWithQuotes(myStr));
// 预期输出: ["hello guys", "some", "words", "with", "quotes inside", "some", "spaces", "inside", "please", "keep", "quoted words as one", "phrase / word", "end-of-line"]

console.log('
--- 包含未闭合引号的示例 ---');
console.log('输入:', myWrongStr);
console.log('输出:', splitToWordsWithQuotes(myWrongStr));
// 预期输出: ["hello guys", "some", "words" with "quotes inside", "please", "keep", "quoted words as one", "phrase / word"]
// 注意：对于未闭合的引号，FSM会将其视为普通字符，或将后续内容都视为短语的一部分，直到遇到下一个引号或字符串结束。

console.log('
--- 原始问题示例 ---');
const originalInput = '"on time" "flight"';
console.log('输入:', originalInput);
console.log('输出:', splitToWordsWithQuotes(originalInput));
// 预期输出: ["on time", "flight"]