TatSu 语法解析器忽略方括号问题的解决方案

本文旨在解决 TatSu 语法解析器中方括号被忽略的问题。通过分析问题的根源，即 @@whitespace 指令的错误使用，并提供正确的禁用空白处理方法，帮助开发者避免类似错误，更有效地使用 TatSu 构建自定义语法解析器。

在使用 TatSu 构建语法解析器时，有时会遇到某些字符（例如方括号 []）被意外忽略的问题。这通常不是 TatSu 本身的 Bug，而是由于对语法定义中的空白处理指令理解不当造成的。

问题分析

在 TatSu 中，@@whitespace 指令用于定义需要忽略的空白字符。然而，该指令的行为可能与文档描述有所不同。实际上，@@whitespace 指令被解释为需要跳过的字符列表，而不仅仅是空白字符。因此，如果将方括号等字符包含在 @@whitespace 中，TatSu 会在解析过程中忽略它们。

以下是一个示例，展示了当 @@whitespace 被错误定义时，方括号被忽略的情况：

@@grammar::Markdown

@@whitespace :: /[␟]/

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;

在这个例子中，虽然本意是使用 ␟（单元分隔符）作为空白字符，但实际上 TatSu 会忽略所有在 @@whitespace 中定义的字符，包括方括号。

解决方案

要解决方括号被忽略的问题，正确的做法是禁用空白处理，而不是尝试将所有非空白字符都排除在 @@whitespace 之外。可以通过将 @@whitespace 指令设置为 None 或 False 来禁用空白处理：

@@grammar::Markdown

@@whitespace :: None

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;

或者：

Anyword

AI文案写作助手和文本生成器，具有可预测结果的文案 AI

下载

@@grammar::Markdown

@@whitespace :: False

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;

这样，TatSu 将不会忽略任何字符，包括空格、制表符和方括号，所有字符都将被视为输入文本的一部分进行解析。

示例代码

以下是一个完整的示例，展示了如何禁用空白处理并正确解析包含方括号的字符串：

import tatsu

grammar = """
@@grammar::Markdown

@@whitespace :: None

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;
"""

class MarkdownSemantics:

    def pieces(self, ast):
        return ''.join(ast)

parser = tatsu.compile(grammar)

markdown_str = "[]abc"
ast = parser.parse(markdown_str, semantics=MarkdownSemantics())
print(ast)

在这个例子中，@@whitespace 被设置为 None，因此 TatSu 将会把 []abc 解析为包含方括号和字母的字符串。

注意事项

• 禁用空白处理后，必须在语法规则中显式地处理空格和其他空白字符。
• 仔细阅读 TatSu 的文档，理解 @@whitespace 指令的正确用法。
• 在遇到解析问题时，首先检查 @@whitespace 指令的设置，确保没有错误地忽略了某些字符。

总结

在使用 TatSu 构建语法解析器时，正确理解和使用 @@whitespace 指令至关重要。通过禁用空白处理，可以避免方括号等字符被意外忽略的问题，从而更有效地解析自定义语法。希望本文能够帮助开发者更好地使用 TatSu，构建更加健壮和可靠的语法解析器。