Jolt：动态数组字段扁平化与索引化转换指南

Jolt：JSON数据结构转换利器

jolt是一个强大的json数据转换库，它允许开发者通过定义一系列规则（称为jolt spec）来重塑json数据的结构。这对于数据集成、api适配以及任何需要改变json格式的场景都非常有用。本教程将重点探讨如何使用jolt处理复杂的数组字段转换，将其扁平化并以符合json规范的方式保留所有数据。

挑战：数组字段的扁平化与有效性问题

在实际的数据处理中，我们经常会遇到包含数组字段的JSON数据，并需要将其转换为更扁平的结构。例如，一个字段可能包含一个值数组，而我们希望将这些数组元素作为独立的字段呈现。

考虑以下输入JSON结构，其中data对象内包含propertyKey2（一个单元素数组）和propertyKey_test（一个多元素数组）：

{
  "firstAttribute": true,
  "secondAttribute": "12",
  "data": {
    "propertyKey1": "1",
    "propertyKey2": [ "a" ],
    "propertyKey3": "2",
    "propertyKey4": "3",
    "propertyKey_test": [ "option1", "option2", "option3" ],
    "propertyKey5": "4",
    "propertyKey6": "87.0"
  },
  "Keytest1": "value1",
  "KeyTest2": "value2"
}

用户最初的期望是将像"propertyKey_test": ["option1", "option2", "option3"]这样的数组直接转换为"propertyKey_test": "option1"，即只取数组的第一个元素。然而，这种处理方式存在两个主要问题：

1. 数据丢失： 仅仅提取第一个元素会导致数组中其他重要信息的丢失。
2. JSON有效性： 如果数组中有多个元素，并且我们尝试为每个元素创建同名的键（例如，都叫propertyKey_test），这将违反JSON规范，因为JSON对象中的键必须是唯一的。

为了解决这些问题，我们需要一种更健壮的方法，既能扁平化数组，又能保留所有数据，并确保输出的JSON结构是有效的。

解决方案：通过索引实现数组元素的有效转换

一种符合JSON规范且能保留数据完整性的方法是，将数组中的每个元素转换为带有索引的新字段。例如，将"propertyKey_test": ["option1", "option2", "option3"]转换为"propertyKey_test0": "option1", "propertyKey_test1": "option2", "propertyKey_test2": "option3"。

下面我们将通过一个Jolt Spec来详细演示如何实现这种转换。

Jolt Spec详解：实现数组扁平化

以下是用于实现上述转换的Jolt Spec：

[
  {
    "operation": "shift",
    "spec": {
      "data": {
        "propertyKey2": {
          "0": "&1"
        },
        "*": {
          "@": "&2.&"
        },
        "propertyKey_*": {
          "*": {
            "@": "&3.&2&1"
          }
        }
      },
      "*": {
        "@": "&"
      }
    }
  }
]

让我们逐层解析这个Jolt Spec：

1. *根级别属性的转移：`"": {"@": "&"}`**

   • 这个规则位于Spec的顶层，用于处理输入JSON的根级别属性。
   • * 匹配所有根级别的键（如firstAttribute, secondAttribute, Keytest1, KeyTest2）。
   • @ 表示取匹配到的键对应的值。
   • & 表示将匹配到的键作为输出的键。
   • 效果： 将所有非data的根级别属性及其值原样复制到输出的根级别。

2. data对象内部的转换：

   • "data": { ... } 表示我们将进入data对象内部进行转换。

   • "propertyKey2": {"0": "&1"}

     • 这个规则专门处理data对象下的propertyKey2字段。
     • "0" 匹配数组propertyKey2的第一个元素（索引为0）。
     • "&1" 表示将propertyKey2的值（即"a"）提升到data对象的父级（即根级别），并使用propertyKey2作为新键。
     • 效果： 将"propertyKey2": ["a"]转换为根级别的"propertyKey2": "a"。

   • *`"": {"@": "&2.&"}`**

     • 这个规则处理data对象下除了propertyKey2和后续propertyKey_*模式匹配之外的所有其他字段。
     • * 匹配data下的所有键。
     • @ 取匹配到的键对应的值。
     • &2 指的是data这个键（因为它是从根级别算起的第二个匹配到的键）。
     • & 指的是当前匹配到的键（如propertyKey1）。
     • 效果： 将data对象下非数组模式匹配的字段（如propertyKey1, propertyKey3, propertyKey4, propertyKey5, propertyKey6）及其值保留在data对象内部。例如，"data": {"propertyKey1": "1"} 保持为 data.propertyKey1。

   • "propertyKey_*": {"*": {"@": "&3.&2&1"}}

     • 这是处理动态数组字段的核心规则。
     • "propertyKey_*"：使用通配符*匹配所有以propertyKey_开头的键（例如propertyKey_test）。
     • "*"：在propertyKey_test内部，*匹配数组的每个元素（索引为0, 1, 2等）。
     • "@"：取当前匹配到的数组元素的值（如"option1"）。
     • "&3.&2&1"：构建输出路径和键。
       • &3：代表输入路径中的第三个匹配项，即data。
       • &2：代表输入路径中的第二个匹配项，即propertyKey_test。
       • &1：代表输入路径中的第一个匹配项，即数组的索引（0, 1, 2）。
       • 组合效果： 将原始路径data.propertyKey_test[0]转换为输出路径data.propertyKey_test0，并将值"option1"赋给它。
     • 效果： 将"propertyKey_test": ["option1", "option2", "option3"]转换为"data": {"propertyKey_test0": "option1", "propertyKey_test1": "option2", "propertyKey_test2": "option3"}。

转换结果示例

应用上述Jolt Spec后，原始输入JSON将转换为以下结构：

{
  "firstAttribute" : true,
  "secondAttribute" : "12",
  "data" : {
    "propertyKey1" : "1",
    "propertyKey3" : "2",
    "propertyKey4" : "3",
    "propertyKey_test0" : "option1",
    "propertyKey_test1" : "option2",
    "propertyKey_test2" : "option3",
    "propertyKey5" : "4",
    "propertyKey6" : "87.0"
  },
  "propertyKey2" : "a",
  "Keytest1" : "value1",
  "KeyTest2" : "value2"
}

可以看到，firstAttribute、secondAttribute、Keytest1、KeyTest2保持不变。propertyKey2的第一个元素"a"被提升到根级别。data对象内的其他非数组字段保持原样。最重要的是，propertyKey_test数组被成功扁平化为propertyKey_test0、propertyKey_test1和propertyKey_test2，保留了所有数据并符合JSON规范。

注意事项与最佳实践

1. JSON规范： 始终牢记JSON对象中键的唯一性。本教程介绍的索引化方法是处理数组扁平化的最佳实践之一，因为它避免了重复键的问题。
2. 动态数组处理： propertyKey_*这样的通配符模式使得Jolt Spec能够灵活地处理任意数量的以propertyKey_开头的数组字段，而无需为每个字段单独编写规则。同样，"*"匹配数组元素确保了无论数组长度如何，所有元素都能被处理。
3. 数据完整性： 相较于简单地取第一个元素并丢弃其余部分，索引化方法保留了数组中的所有数据，这在大多数业务场景中是更优的选择。
4. Jolt通配符和引用：
   • *：匹配任何键或数组索引。
   • @：引用当前匹配到的值。
   • &：引用当前匹配到的键。
   • &N：引用输入路径中从右往左数第N个匹配到的键或索引。例如，在"&3.&2&1"中，&1是数组索引，&2是propertyKey_test，&3是data。理解这些引用是编写复杂Jolt Spec的关键。

总结

Jolt为JSON数据转换提供了强大的功能和灵活性。通过精心设计的Jolt Spec，我们可以有效地解决复杂的结构转换问题，例如将动态数组字段扁平化为带有索引的独立字段。这种方法不仅确保了输出JSON的有效性，还能够完整地保留原始数据，是处理异构JSON数据的重要工具。掌握Jolt的通配符和引用机制，是实现高效、可维护JSON转换的关键。

以上就是Jolt：动态数组字段扁平化与索引化转换指南的详细内容，更多请关注php中文网其它相关文章！