利用Parsimonious解析含空值的逗号分隔字符串数组

Parsimonious解析含空值数组的挑战与解决方案

在数据处理中，我们经常会遇到需要解析特定格式字符串的情况。其中一种常见的挑战是解析逗号分隔的字符串数组，尤其当数组元素可能为空时，例如(,,"My","Cool",,"Array",,,)。使用像Parsimonious这样的PEG（Parsing Expression Grammar）解析器时，需要精心设计的语法规则才能准确无误地处理这类结构，并能在解析阶段就识别出非法格式，避免后续处理的复杂性。

最初尝试的语法规则可能如下：

string = ~'"[^\"]+"'
comma = ","
array = "(" (comma / string)* ")"

这个规则虽然能处理一些情况，但存在一个关键缺陷：它会将("My""Cool""Array")这样的非法输入也识别为有效。这是因为(comma / string)*允许零个或多个逗号或字符串的任意组合，未能强制要求逗号作为分隔符。为了解决这个问题，我们需要一个更精确的语法来强制执行逗号分隔的模式。

精确的Parsimonious语法规则

为了实现对含空值逗号分隔字符串数组的健壮解析，并确保在解析阶段就能捕获格式错误，我们提出以下Parsimonious语法：

from parsimonious import Grammar

grammar = Grammar('''
  array = "(" string? (comma string?)* ")"
  string = ~'"[^\"]+"'
  comma = ","
''')

让我们详细解析这个语法规则的构成：

• *`array = "(" string? (comma string?) ")"`**

  • ( 和 )：匹配数组的起始和结束括号。
  • string?：匹配一个可选的字符串。这是处理数组第一个元素可能为空的关键。如果第一个元素是空，例如(,"My",...)，那么string?会匹配空。
  • (comma string?)*：这是一个核心部分，它定义了后续元素的模式。
    • comma：强制要求每个后续元素必须以逗号开头。
    • string?：在每个逗号之后，允许有一个可选的字符串。这完美地处理了如(,"My",,"Array")中连续逗号（表示空元素）的情况。*表示这个模式可以重复零次或多次，从而处理了任意长度的数组以及末尾可能存在的空元素（如(...,)）。

• string = ~'"[^\"]+"'

  • 这是一个正则表达式规则，用于匹配双引号括起来的非空字符串。~表示使用正则表达式，"[^\"]+"匹配以双引号开始和结束，中间包含一个或多个非双引号字符的序列。

• comma = ","

  

  怪兽AI数字人

  数字人短视频创作，数字人直播，实时驱动数字人

  44

  查看详情
  • 简单地匹配一个逗号字符。

示例与验证

通过上述语法，我们可以验证其对各种输入字符串的处理能力：

from parsimonious import Grammar

grammar = Grammar('''
  array = "(" string? (comma string?)* ")"
  string = ~'"[^\"]+"'
  comma = ","
''')

# 有效输入示例
print(grammar.parse('("My","Cool","Array")'))         # 通过
print(grammar.parse('("My","Cool","Array",)'))        # 通过 (末尾有空元素)
print(grammar.parse('(,,"My","Cool",,"Array",,,)'))   # 通过 (包含多个空元素)
print(grammar.parse('()'))                            # 通过 (空数组)
print(grammar.parse('(,"OnlyOne",)'))                 # 通过 (只有一个非空元素，前后有空)

# 无效输入示例
try:
    grammar.parse('("My""Cool""Array")')
except Exception as e:
    print(f"解析错误：{e}") # 成功捕获错误

try:
    grammar.parse('("My",Cool)') # 字符串未用引号括起来
except Exception as e:
    print(f"解析错误：{e}") # 成功捕获错误

try:
    grammar.parse('(My,Cool)') # 字符串未用引号括起来
except Exception as e:
    print(f"解析错误：{e}") # 成功捕获错误

运行上述代码，你会发现所有符合预期格式的字符串都能成功解析，而像("My""Cool""Array")这种不符合逗号分隔规则的字符串则会在parse()调用时立即抛出错误，这正是我们期望的在解析阶段进行错误检测。

注意事项与后续处理

1. 空值表示： 该语法成功解析后，Parsimonious会生成一个抽象语法树（AST）。在AST中，那些string?匹配为空的地方不会生成string节点。在后续的Visitor模式中遍历AST时，你可以通过检查子节点是否存在来判断该位置是否为“空”，并将其转换为Python中的None。

   from parsimonious.nodes import NodeVisitor
   
   class ArrayVisitor(NodeVisitor):
       def visit_array(self, node, visited_children):
           # visited_children 包含了所有匹配到的子节点
           # 需要根据其结构重构数组
           result = []
           # 处理第一个可选的string
           if visited_children[1]: # string?
               result.append(visited_children[1])
   
           # 处理后续 (comma string?)* 结构
           for _, optional_string in visited_children[2]: # 遍历 (comma string?)* 的匹配结果
               result.append(optional_string)
           return [item if item is not None else None for item in result]
   
       def visit_string(self, node, visited_children):
           # 提取双引号内的内容
           return node.text[1:-1] # 移除引号
   
       def generic_visit(self, node, visited_children):
           # 对于没有特定visit方法的节点，返回其子节点结果，或None（如果匹配为空）
           if node.expr_name == 'string?' and not visited_children:
               return None
           return visited_children or node.text # 默认行为，确保空匹配返回None
   
   # 示例使用
   tree = grammar.parse('(,,"My","Cool",,"Array",,,)')
   array_data = ArrayVisitor().visit(tree)
   print(array_data) # 预期输出: [None, None, 'My', 'Cool', None, 'Array', None, None, None]

   登录后复制

   请注意，上述ArrayVisitor是一个简化的示例，实际实现可能需要更精细地处理visited_children的结构，特别是当有重复组和可选元素时。关键在于理解string?在未匹配时会导致visited_children中对应位置为空列表或None。

2. 错误检测的及时性： 使用这种精确的语法，Parsimonious会在解析阶段（即grammar.parse()调用时）就捕获不符合格式的输入，而不是等到构建AST或遍历AST时才发现问题。这有助于提高应用程序的性能和健壮性。

3. 语法可读性： PEG语法通常比正则表达式更具可读性和可维护性，特别是在处理复杂嵌套结构时。

总结

通过精心设计的Parsimonious语法规则array = "(" string? (comma string?)* ")"，我们成功地解决了解析包含空值的逗号分隔字符串数组的难题。这个方案不仅能准确解析各种合法格式，还能在解析阶段有效拒绝不符合规范的输入，从而确保了数据处理的准确性和鲁棒性。结合Visitor模式，可以方便地将解析结果转换为Python数据结构，其中空元素可映射为None。

以上就是利用Parsimonious解析含空值的逗号分隔字符串数组的详细内容，更多请关注php中文网其它相关文章！