TatSu 语法解析器忽略方括号问题的解决

本文将探讨 TatSu 语法解析器在处理包含方括号 [] 的文本时遇到的问题，并提供有效的解决方案。正如摘要所述，问题源于对 @@whitespace 指令的错误理解和使用，导致解析器在处理方括号时出现异常行为。

在 TatSu 中，@@whitespace 指令用于定义在词法分析阶段需要跳过的字符。然而，根据 TatSu 的实际实现，该指令并非简单地将指定的字符视为空白，而是将其视为需要在 token 之间跳过的字符。因此，当 @@whitespace 被设置为包含方括号的字符集时，解析器会在 token 之间跳过这些字符，导致它们被忽略。

以下是一个示例，展示了问题的产生：

@@grammar::Markdown

@@whitespace :: /[␟]/

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;

上述代码中，虽然 @@whitespace 指令的目标是忽略 Unit Separator 字符（␟），但实际上它会忽略所有匹配 /[␟]/ 的字符，包括方括号。

解决方案：禁用空白处理

要解决此问题，最直接的方法是完全禁用空白处理。这可以通过将 @@whitespace 指令设置为 None 或 False 来实现：

@@grammar::Markdown

@@whitespace :: None

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;

或者：

故事AI绘图神器

文本生成图文视频的AI工具，无需配音，无需剪辑，快速成片，角色固定。

下载

@@grammar::Markdown

@@whitespace :: False

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;

通过禁用空白处理，TatSu 将不再跳过任何字符，而是将所有字符都视为 token 的一部分，从而确保方括号能够被正确解析。

示例代码：

import tatsu

grammar = """
@@grammar::Markdown

@@whitespace :: None

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;
"""

class MarkdownSemantics:

    def pieces(self, ast):
        return ''.join(ast)

parser = tatsu.compile(grammar)

markdown_str = "[]abc"
ast = parser.parse(markdown_str, semantics=MarkdownSemantics())
print(ast)

注意事项：

• 禁用空白处理可能会影响解析器的性能，特别是对于包含大量空白字符的文本。
• 在禁用空白处理后，需要确保语法规则能够正确处理空白字符。
• 如果只需要忽略特定的空白字符，可以考虑使用更精确的正则表达式来定义 text 规则，而不是完全禁用空白处理。

总结：

在使用 TatSu 语法解析器时，正确理解和使用 @@whitespace 指令至关重要。当需要处理包含方括号或其他特殊字符的文本时，禁用空白处理通常是解决问题的有效方法。通过本文的讲解，相信读者能够更好地理解 TatSu 的工作原理，并能够有效地解决类似的问题。