TatSu语法中方括号被忽略问题的解决

本文针对TatSu语法解析器中方括号被意外忽略的问题，通过分析@@whitespace指令的作用，解释了为何方括号会被跳过。同时，提供了禁用空格处理的正确方法，即设置@@whitespace :: None或@@whitespace :: False，从而确保语法解析器能够正确识别方括号。

在使用TatSu进行语法解析时，有时会遇到一些看似奇怪的问题，比如某些字符，如方括号 []，在语法中被忽略。这往往不是TatSu本身的bug，而是由于对语法规则中 @@whitespace 指令的理解不准确导致的。

问题分析

问题的根源在于 @@whitespace 指令的实际作用。虽然文档可能不够明确，但实际上，@@whitespace 指令定义的是需要跳过的字符，而不是像正则表达式那样匹配空格。这意味着，如果你的 @@whitespace 定义中包含了某些字符，TatSu在解析过程中会直接忽略这些字符。

在提供的例子中，@@whitespace :: /[␟]/ 实际上将单元分隔符（US）定义为了需要跳过的字符。虽然本意可能是禁用空格处理，但结果是所有匹配该正则表达式的字符都会被忽略，这包括方括号，因为它们可能在某些情况下被解析器错误地识别为需要跳过的字符。

解决方案

要解决这个问题，正确的做法是禁用空格处理，而不是尝试定义一个包含所有空格字符的正则表达式。TatSu提供了两种禁用空格处理的方式：

1. 设置 @@whitespace :: None
2. 设置 @@whitespace :: False

这两种方式都会告诉TatSu不要跳过任何字符，从而确保语法解析器能够正确处理所有字符，包括方括号。

法语写作助手

法语助手旗下的AI智能写作平台，支持语法、拼写自动纠错，一键改写、润色你的法语作文。

31

查看详情

示例代码

以下是修改后的TatSu语法和示例代码：

grammar.txt:

@@grammar::Markdown

@@whitespace :: None  # 或 @@whitespace :: False

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;

test.py:

import tatsu

with open("./grammar.txt", "r") as grammar_file:
    grammar = grammar_file.read()

class MarkdownSemantics:

    def pieces(self, ast):
        return ''.join(ast)

parser = tatsu.compile(grammar)

markdown_str = "[]"
ast = parser.parse(markdown_str, semantics=MarkdownSemantics())
print(ast)

在这个修改后的代码中，@@whitespace :: None 明确告诉TatSu不要跳过任何字符。现在，运行 test.py 应该会产生预期的结果，而不是忽略方括号。

注意事项

• 理解 @@whitespace 指令的真正含义至关重要。它定义的是需要跳过的字符，而不是空格的匹配规则。
• 在禁用空格处理后，你需要确保你的语法规则能够正确处理空格。例如，你可能需要在你的语法规则中显式地包含空格字符。
• 在调试TatSu语法时，仔细检查 @@whitespace 指令的设置，确保它符合你的预期。

总结

通过正确理解和使用 @@whitespace 指令，我们可以避免TatSu语法解析器意外忽略字符的问题。禁用空格处理是解决此类问题的有效方法，但同时也需要注意在语法规则中显式地处理空格。希望本文能够帮助你更好地使用TatSu进行语法解析。

以上就是TatSu语法中方括号被忽略问题的解决的详细内容，更多请关注php中文网其它相关文章！