本文针对TatSu语法解析器中方括号被意外忽略的问题，通过分析@@whitespace指令的作用，解释了为何方括号会被跳过。同时，提供了禁用空格处理的正确方法，即设置@@whitespace :: None或@@whitespace :: False，从而确保语法解析器能够正确识别方括号。
在使用TatSu进行语法解析时，有时会遇到一些看似奇怪的问题，比如某些字符，如方括号 []，在语法中被忽略。这往往不是TatSu本身的bug，而是由于对语法规则中 @@whitespace 指令的理解不准确导致的。
问题分析
问题的根源在于 @@whitespace 指令的实际作用。虽然文档可能不够明确，但实际上，@@whitespace 指令定义的是需要跳过的字符，而不是像正则表达式那样匹配空格。这意味着，如果你的 @@whitespace 定义中包含了某些字符，TatSu在解析过程中会直接忽略这些字符。
在提供的例子中，@@whitespace :: /[␟]/ 实际上将单元分隔符（US）定义为了需要跳过的字符。虽然本意可能是禁用空格处理，但结果是所有匹配该正则表达式的字符都会被忽略，这包括方括号，因为它们可能在某些情况下被解析器错误地识别为需要跳过的字符。
解决方案
要解决这个问题，正确的做法是禁用空格处理，而不是尝试定义一个包含所有空格字符的正则表达式。TatSu提供了两种禁用空格处理的方式：
- 设置 @@whitespace :: None
- 设置 @@whitespace :: False
这两种方式都会告诉TatSu不要跳过任何字符，从而确保语法解析器能够正确处理所有字符，包括方括号。
用最优化方法解决最优化问题的技术称为最优化技术，它包含两个方面的内容： 1） 建立数学模型 即用数学语言来描述最优化问题。模型中的数学关系式反映了最优化问题所要达到的目标和各种约束条件。 2） 数学求解 数学模型建好以后，选择合理的最优化方法进行求解。 利用Matlab的优化工具箱，可以求解线性规划、非线性规划和多目标规划问题。具体而言，包括线性、非线性最小化，最大最小化，二次规划，半无限问题，线性、非线性方程（组）的求解，线性、非线性的最小二乘问题。另外，该工具箱还提供了线性、非线性最小化，方程求解，
示例代码
以下是修改后的TatSu语法和示例代码：
grammar.txt:
@@grammar::Markdown
@@whitespace :: None # 或 @@whitespace :: False
start = pieces $ ;
text = text:/[a-z]+/ ;
pieces = {text}*
;test.py:
import tatsu
with open("./grammar.txt", "r") as grammar_file:
grammar = grammar_file.read()
class MarkdownSemantics:
def pieces(self, ast):
return ''.join(ast)
parser = tatsu.compile(grammar)
markdown_str = "[]"
ast = parser.parse(markdown_str, semantics=MarkdownSemantics())
print(ast)在这个修改后的代码中，@@whitespace :: None 明确告诉TatSu不要跳过任何字符。现在，运行 test.py 应该会产生预期的结果，而不是忽略方括号。
注意事项
- 理解 @@whitespace 指令的真正含义至关重要。它定义的是需要跳过的字符，而不是空格的匹配规则。
- 在禁用空格处理后，你需要确保你的语法规则能够正确处理空格。例如，你可能需要在你的语法规则中显式地包含空格字符。
- 在调试TatSu语法时，仔细检查 @@whitespace 指令的设置，确保它符合你的预期。
总结
通过正确理解和使用 @@whitespace 指令，我们可以避免TatSu语法解析器意外忽略字符的问题。禁用空格处理是解决此类问题的有效方法，但同时也需要注意在语法规则中显式地处理空格。希望本文能够帮助你更好地使用TatSu进行语法解析。
