使用 TatSu 解析器时忽略方括号问题的解决

本文将深入探讨在使用 TatSu 解析器时遇到的一个常见问题：方括号 [] 被意外忽略。正如摘要所述，我们将分析问题代码，理解 TatSu 的 @@whitespace 指令的行为，并提供解决方案。

问题分析

在使用 TatSu 解析器时，有时会发现定义的语法规则无法正确解析包含方括号 [] 的字符串。例如，以下语法和代码：

@@grammar::Markdown

@@whitespace :: /[␟]/

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;

import tatsu

with open("./grammar.txt", "r") as grammar_file:
    grammar = grammar_file.read()

class MarkdownSemantics:

    def pieces(self, ast):
        return ''.join(ast)

parser = tatsu.compile(grammar)

markdown_str = "[]"
ast = parser.parse(markdown_str, semantics=MarkdownSemantics())
print(ast)

这段代码本应因为无法匹配 /[a-z]+/ 而报错，但实际上却成功解析，并输出了空字符串。这是因为 @@whitespace 指令的行为与预期不符。

@@whitespace 指令的正确理解

TatSu 的 @@whitespace 指令并非简单地定义要忽略的空白字符，而是定义在 token 之间需要跳过的字符列表。这意味着，如果 @@whitespace 中包含了 [ 和 ]，那么解析器就会在 token 之间跳过它们，导致它们被忽略。

解决方案：禁用空白处理

要解决这个问题，最直接的方法是完全禁用空白处理。可以通过将 @@whitespace 指令设置为 None 或 False 来实现：

@@grammar::Markdown

@@whitespace :: None

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;

或者：

PHP经典实例(第二版)

PHP经典实例（第2版）能够为您节省宝贵的Web开发时间。有了这些针对真实问题的解决方案放在手边，大多数编程难题都会迎刃而解。《PHP经典实例(第2版)》将PHP的特性与经典实例丛书的独特形式组合到一起，足以帮您成功地构建跨浏览器的Web应用程序。在这个修订版中，您可以更加方便地找到各种编程问题的解决方案，《PHP经典实例(第2版)》中内容涵盖了：表单处理；Session管理；数据库交互；使用We

下载

@@grammar::Markdown

@@whitespace :: False

start = pieces $ ;

text = text:/[a-z]+/ ;

pieces = {text}*
    ;

这样，解析器就不会跳过任何字符，包括方括号，从而能够正确地解析字符串。

修改后的示例代码

将 @@whitespace 设置为 None 后，再次运行之前的代码，将会抛出 FailedParse 异常，因为输入字符串 "[]" 无法匹配 text 规则定义的 /[a-z]+/。这表明方括号不再被忽略，解析器正在按照预期工作。

注意事项

禁用空白处理可能会影响语法的灵活性，因为空格和其他空白字符现在会被视为普通字符，需要显式地在语法规则中进行处理。在设计语法时，需要仔细考虑是否禁用空白处理，并根据具体情况进行调整。

总结

在使用 TatSu 解析器时，@@whitespace 指令的行为需要仔细理解。它并非简单地定义要忽略的空白字符，而是定义在 token 之间需要跳过的字符列表。如果遇到方括号或其他字符被意外忽略的问题，可以尝试禁用空白处理，并根据实际需求调整语法规则。