JavaScript高级字符串处理：利用matchAll实现复杂分词与格式化

本文探讨了在javascript中如何处理具有复杂分隔逻辑的字符串，特别是当需要保留特定引用（如单引号或分号）内的内容，并对其中一部分进行格式化时。我们通过`matchall`方法结合精心设计的正则表达式，实现了对字符串的精确分词，并通过后续处理对匹配到的片段进行清理和格式化，从而克服了传统`split`方法在处理这类场景时的局限性。文章还强调了该方案在处理非嵌套结构时的有效性及其局限性。

理解复杂字符串分词的挑战

在JavaScript中处理字符串时，我们经常需要将其分解成更小的部分（分词）。通常情况下，String.prototype.split() 方法配合简单的分隔符（如空格或逗号）就能很好地完成任务。然而，当分词逻辑变得复杂，例如需要满足以下条件时，split() 方法就会显得力不从心：

1. 条件性分隔： 字符串应基于空格进行分隔，但某些特定符号（如单引号 '' 或分号 ;;）内部的内容必须被视为一个整体，不应被内部的空格分割。
2. 内容转换： 对于被特定符号包裹的内容，在提取后还需要进行额外的格式化。例如，被分号包裹的内容，其内部的空格需要替换为连字符 -。

考虑以下示例字符串： "Hello 'How are you' foo bar abc 'Strings are cool' d b s ;12gh gh76;"

我们期望的输出是一个数组，其中包含处理后的各个部分： ["Hello", "How are you", "foo", "bar", "abc", "Strings are cool", "d", "b", "s", "12gh-gh76"]

传统的 split() 方法难以实现这种既要保留特定内容又要进行内部转换的复杂逻辑。直接使用复杂的正则表达式作为 split() 的参数，往往会导致分隔符被包含在结果中，或者无法正确处理内部格式化。

利用 matchAll 进行精确分词

为了克服 split() 的局限性，我们可以转而使用 String.prototype.matchAll() 方法。matchAll() 返回一个迭代器，其中包含字符串中所有与正则表达式匹配的结果，包括捕获组。这使得我们能够精确地提取出所有我们感兴趣的“令牌”（token），无论是普通单词还是被特定符号包裹的字符串，而无需担心分隔符的处理。

核心在于构建一个能够识别所有目标模式的正则表达式：

立即学习“Java免费学习笔记（深入）”；

/([';]).+?\1|\w+/gm

让我们详细解析这个正则表达式：

腾讯智影-AI数字人

基于AI数字人能力，实现7*24小时AI数字人直播带货，低成本实现直播业务快速增增，全天智能在线直播

73

查看详情

• ([';]): 这是一个捕获组，它会匹配并捕获一个单引号 (') 或一个分号 (;)。这个捕获的值后续可以通过 \1 进行反向引用。
• .+?: 匹配任意字符（除了换行符）一次或多次，采用非贪婪模式。非贪婪模式（?）在这里至关重要，它确保匹配到最近的结束引号或分号，而不是一直匹配到字符串的末尾。
• \1: 这是一个反向引用，它会匹配与第一个捕获组 (([';])) 捕获到的完全相同的字符。这意味着如果开始是 '，它就会寻找 ' 作为结束；如果开始是 ;，它就会寻找 ; 作为结束。这确保了我们正确匹配成对的引号或分号。
• |: 这是一个“或”操作符，表示匹配左侧的模式 或 右侧的模式。
• \w+: 匹配一个或多个“单词字符”（字母、数字、下划线）。这用于捕获那些没有被引号或分号包裹的普通单词。
• g (global): 全局匹配标志，确保 matchAll 找到所有匹配项，而不是只找到第一个。
• m (multiline): 多行匹配标志，虽然在此特定场景中不是必需的，但通常与 matchAll 结合使用以处理多行文本。

使用 matchAll 提取匹配项的示例如下：

const myRegEx = new RegExp(/([';]).+?\1|\w+/gm);
const message = "Hello 'How are you' foo bar abc 'Strings are cool' d b s ;12gh gh76; ;a 'b c' d; 'a ;b c; d' d";

// 使用 Array.from 将 matchAll 迭代器转换为数组
const matches = Array.from(message.matchAll(myRegEx));

// 此时 matches 数组中每个元素都是一个匹配结果数组，
// 其第一个元素 (match[0]) 是完整的匹配字符串。
// 例如：["Hello", "'How are you'", "foo", ..., ";12gh gh76;", ...]

后处理与格式化

matchAll 提取的匹配项仍然包含原始的引号或分号，并且 ;...; 内部的空格也未转换为连字符。因此，我们需要对这些匹配项进行进一步的后处理。这可以通过 Array.prototype.map() 方法结合条件逻辑来实现。

处理逻辑如下：

1. 对于 matches 数组中的每个匹配结果 match：
2. 获取完整的匹配字符串 value = match[0]。
3. 如果 value 以 ; 开头并以 ; 结尾（通过 value.match(/^;.*;$/) 判断），则表示它是一个分号包裹的字符串。我们需要移除首尾的分号，并将其内部的所有空格替换为连字符 -。
4. 否则，如果 value 以 ' 开头并以 ' 结尾（通过 value.match(/^'.*'$/) 判断），则表示它是一个单引号包裹的字符串。我们只需要移除首尾的单引号。
5. 否则，它就是一个普通的单词，直接返回其原始值。

完整的代码实现如下：

const myRegEx = new RegExp(/([';]).+?\1|\w+/gm);
const message = "Hello 'How are you' foo bar abc 'Strings are cool' d b s ;12gh gh76; ;a 'b c' d; 'a ;b c; d' d";

const matches = Array.from(message.matchAll(myRegEx));

const finalResult = matches.map(match => {
  const value = match[0]; // match[0] 包含完整的匹配字符串
  if (value.match(/^;.*;$/)) {
    // 移除分号并替换内部空格为连字符
    return value.substring(1, value.length - 1).replaceAll(' ', '-');
  } else if (value.match(/^'.*'$/)) {
    // 移除单引号
    return value.substring(1, value.length - 1);
  } else {
    // 普通单词，直接返回
    return value;
  }
});

console.log(finalResult);
/*
对于输入字符串 "Hello 'How are you' foo bar abc 'Strings are cool' d b s ;12gh gh76;"
输出将是：
["Hello", "How are you", "foo", "bar", "abc", "Strings are cool", "d", "b", "s", "12gh-gh76"]

如果使用更长的测试字符串："Hello 'How are you' foo bar abc 'Strings are cool' d b s ;12gh gh76; ;a 'b c' d; 'a ;b c; d' d"
输出将是：
["Hello", "How are you", "foo", "bar", "abc", "Strings are cool", "d", "b", "s", "12gh-gh76", "a", "b c", "d", "'a ;b c; d'", "d"]
注意：最后一个元素 "'a ;b c; d'" 展示了当前方案对嵌套结构的局限性。
*/

重要注意事项与局限性

• 非嵌套结构假设： 本文提供的解决方案基于一个关键假设：所有的引号和分号包裹的字符串都是非嵌套的。例如，'Hello ;world;' 这样的结构（单引号内部包含分号包裹的字符串），或者 'Outer 'Inner' String' 这样的嵌套引号，将无法被当前的正则表达式正确处理。正则表达式在处理需要“括号平衡”的问题时通常力不从心。在上述代码的第二个示例输出中，'a ;b c; d' 被作为一个整体匹配，但其内部的分号包裹内容并未被单独处理。
• 处理嵌套结构： 如果您的应用场景需要处理嵌套的引号或分号，那么正则表达式可能不是最佳工具。在这种情况下，您可能需要考虑以下替代方案：
  • 手动解析器： 编写一个简单的状态机或基于栈的解析器，逐字符遍历字符串，根据遇到的引号或分号来推入或弹出栈，以跟踪当前的嵌套级别。
  • 专用解析库： 对于更复杂的语法解析需求，可以考虑使用

以上就是JavaScript高级字符串处理：利用matchAll实现复杂分词与格式化的详细内容，更多请关注php中文网其它相关文章！