Jolt 数据转换：计算 JSON 嵌套对象中所有数值的总和

Jolt 概述

Jolt 是一个用于 JSON 数据转换的 Java 库，它提供了一系列强大的操作符，如 shift、default、remove、sort、cardinality 和 modify 等，使用户能够声明式地定义 JSON 数据的重塑、过滤和聚合逻辑。Jolt 的核心思想是使用一个 JSON 结构作为“转换规范”（Spec），来描述如何将输入 JSON 转换为目标 JSON。

问题场景：计算嵌套对象数值总和

假设我们有一个包含多个账户余额的 JSON 对象，这些余额都嵌套在 accounts 字段下：

输入 JSON 示例：

{
  "accounts": {
    "canara": 1,
    "sbi": 0,
    "axis": 1,
    "hdfc": 0
  }
}

我们的目标是保留所有原始账户信息，同时计算 accounts 对象中所有账户余额的总和，并将这个总和以 total accounts 的键名添加到输出 JSON 的根级别。

期望输出 JSON 示例：

{
  "canara": 1,
  "sbi": 0,
  "axis": 1,
  "hdfc": 0,
  "total accounts": 2
}

解决方案详解：Jolt 转换规则剖析

为了实现上述转换，我们需要编写一个包含三个操作步骤的 Jolt Spec。

第一步：数据平铺与聚合 (Shift Operation)

此步骤的目的是将 accounts 对象中的每个键值对平铺到根级别，并同时将所有的数值收集到一个临时的数组中，以便后续求和。

{
  "operation": "shift",
  "spec": {
    "accounts": {
      "*": [
        ".&",
        "accountsAccumulator"
      ]
    }
  }
}

• "accounts": 匹配输入 JSON 中的 accounts 字段。
• "*": 匹配 accounts 对象下的所有键（如 "canara", "sbi" 等）。
• [".&", "accountsAccumulator"]: 这是关键部分。
  • .&: . 代表当前匹配到的值（即账户余额），& 代表当前匹配到的键（即账户名）。".&" 的作用是将当前键值对（例如 "canara": 1）保持不变，并将其映射到输出的根级别。
  • "accountsAccumulator": 将当前匹配到的值（账户余额）收集到一个名为 accountsAccumulator 的数组中。由于 accountsAccumulator 是一个数组，每次匹配到新的值时，都会将其追加到该数组中。

经过此步骤后，中间结果将类似：

{
  "canara": 1,
  "sbi": 0,
  "axis": 1,
  "hdfc": 0,
  "accountsAccumulator": [1, 0, 1, 0]
}

第二步：执行求和计算 (Modify-Overwrite-Beta Operation)

在这一步中，我们利用 modify-overwrite-beta 操作符来计算 accountsAccumulator 数组中所有元素的总和，并将其赋值给 total accounts 字段。

{
  "operation": "modify-overwrite-beta",
  "spec": {
    "total accounts": "=intSum(@(1,accountsAccumulator))"
  }
}

• "total accounts": 定义了我们要创建的新字段。
• "=intSum(@(1,accountsAccumulator))": 这是 Jolt 的内置函数和路径表达式。
  • =: 表示这是一个函数调用。
  • intSum(): Jolt 提供的一个数学函数，用于计算整数数组的总和。
  • @(1,accountsAccumulator): 这是一个相对路径表达式。
    • @: 表示从当前位置开始查找。
    • 1: 表示向上回溯一层（因为 accountsAccumulator 在上一操作中被放置在根级别，与 total accounts 将在同一级别）。
    • accountsAccumulator: 指定要操作的数组字段名。

此步骤将计算 [1, 0, 1, 0] 的总和（结果为 2），并将其添加到 total accounts 字段。

即构数智人

即构数智人是由即构科技推出的AI虚拟数字人视频创作平台，支持数字人形象定制、短视频创作、数字人直播等。

36

查看详情

中间结果将变为：

{
  "canara": 1,
  "sbi": 0,
  "axis": 1,
  "hdfc": 0,
  "accountsAccumulator": [1, 0, 1, 0],
  "total accounts": 2
}

第三步：清理与重塑 (Shift Operation)

最后一步是清理临时生成的 accountsAccumulator 字段，并确保所有其他字段都正确地保留在输出的根级别。

{
  "operation": "shift",
  "spec": {
    "accountsAccumulator": null,
    "*": "&"
  }
}

• "accountsAccumulator": null: 将 accountsAccumulator 字段的值映射为 null，这在 shift 操作中等同于删除该字段。
• "*": "&": 这是一个通配符规则，表示将当前层级（根级别）的所有其他字段（除了 accountsAccumulator）及其值保持不变，并将其映射到输出的根级别。

最终，accountsAccumulator 被移除，只剩下原始账户信息和新计算出的 total accounts 字段。

完整 Jolt 转换规则

将以上三个步骤组合起来，就构成了完整的 Jolt Spec：

[
  {
    "operation": "shift",
    "spec": {
      "accounts": {
        "*": [
          ".&",
          "accountsAccumulator"
        ]
      }
    }
  },
  {
    "operation": "modify-overwrite-beta",
    "spec": {
      "total accounts": "=intSum(@(1,accountsAccumulator))"
    }
  },
  {
    "operation": "shift",
    "spec": {
      "accountsAccumulator": null,
      "*": "&"
    }
  }
]

示例与验证

使用上述 Jolt Spec 对输入 JSON 进行转换：

输入 JSON:

{
  "accounts": {
    "canara": 1,
    "sbi": 0,
    "axis": 1,
    "hdfc": 0
  }
}

执行 Jolt 转换后，将得到以下输出：

{
  "canara": 1,
  "sbi": 0,
  "axis": 1,
  "hdfc": 0,
  "total accounts": 2
}

这与我们的期望输出完全一致。

注意事项

1. Jolt 版本兼容性: modify-overwrite-beta 操作符及其内置函数（如 intSum）在较新的 Jolt 版本中更为稳定和功能完善。请确保您的 Jolt 库版本支持这些特性。
2. 数据类型: intSum 函数专门用于整数求和。如果您的数据可能包含浮点数（例如 1.5, 2.0），则应考虑使用 doubleSum 或其他适合浮点数计算的函数。确保被求和的字段值是数字类型，否则可能导致转换失败或结果不准确。
3. 临时字段命名: accountsAccumulator 只是一个临时字段名，您可以根据实际情况选择任何不与现有字段冲突的名称。
4. 通用性: 这种模式可以推广到其他类似的聚合场景，例如计算平均值、最大值、最小值等，只需替换 modify-overwrite-beta 中的数学函数即可。

总结

通过本教程，我们学习了如何利用 Jolt 的 shift 和 modify-overwrite-beta 操作符，结合内置的数学函数，高效地对 JSON 嵌套对象中的数值进行求和。这种分步转换的策略，即先平铺聚合数据，再进行计算，最后清理临时字段，是 Jolt 处理复杂数据转换任务的典型范式。掌握这些核心概念，将有助于您更灵活地应对各种 JSON 数据转换挑战。

以上就是Jolt 数据转换：计算 JSON 嵌套对象中所有数值的总和的详细内容，更多请关注php中文网其它相关文章！