
在实际的软件开发中,我们经常会遇到结构复杂、层次嵌套的json数据。例如,一个场景是需要从一个包含多层数组和对象的json中,提取出某个元素的统计信息,如其在所有记录中的最小和最大出现次数。传统上,这可能需要编写复杂的循环逻辑,或者自定义jackson反序列化器,这无疑增加了开发难度和代码量。
考虑以下JSON结构,它是一个包含多个内部数组的数组,每个内部数组又包含多个带有word和count字段的对象:
[
[
{"word": "china", "count": 0},
{"word": "kids", "count": 1},
{"word": "music", "count": 0}
],
[
{"word": "china", "count": 3},
{"word": "kids", "count": 0},
{"word": "music", "count": 2}
],
[
{"word": "china", "count": 10},
{"word": "kids", "count": 3},
{"word": "music", "count": 2}
]
]我们的目标是将其转换为一个扁平化的Java对象列表,每个对象代表一个单词,并包含该单词在所有记录中的最小和最大出现次数。例如,对于单词"china",我们希望得到min=0,max=10。
为此,我们定义一个简单的POJO类Word:
public class Word {
private String text;
private Integer min;
private Integer max;
// Getters and Setters
public String getText() { return text; }
public void setText(String text) { this.text = text; }
public Integer getMin() { return min; }
public void setMin(Integer min) { this.min = min; }
public Integer getMax() { return max; }
public void setMax(Integer max) { this.max = max; }
@Override
public String toString() {
return String.format("text=%s min=%d max=%d", text, min, max);
}
}解决方案:利用Josson进行JSON转换
解决此类问题的关键在于对原始JSON数据进行预处理,将其转换为Jackson可以直接反序列化的结构。Josson是一个强大的Java库,专为JSON查询和转换设计,它提供了一种类似SQL的表达式语言来操作JSON数据。
立即学习“Java免费学习笔记(深入)”;
首先,我们需要在项目中引入Josson库的依赖。如果使用Maven,可以在pom.xml中添加:
com.github.octomix josson 1.3.0
接下来,我们将使用Josson的查询能力来转换原始JSON。转换的核心思想是:
基于Intranet/Internet 的Web下的办公自动化系统,采用了当今最先进的PHP技术,是综合大量用户的需求,经过充分的用户论证的基础上开发出来的,独特的即时信息、短信、电子邮件系统、完善的工作流、数据库安全备份等功能使得信息在企业内部传递效率极大提高,信息传递过程中耗费降到最低。办公人员得以从繁杂的日常办公事务处理中解放出来,参与更多的富于思考性和创造性的工作。系统力求突出体系结构简明
- 扁平化 (Flatten):将多层嵌套的数组结构扁平化为一层。
- 分组 (Group):根据需要统计的字段(例如word)进行分组。
- 映射与聚合 (Map & Aggregate):对每个分组执行聚合操作(如min和max),并将结果映射到新的结构。
以下是使用Josson进行数据转换的代码示例:
import com.fasterxml.jackson.core.type.TypeReference;
import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.octomix.josson.Josson;
import java.util.List;
public class JsonDataProcessor {
public static void main(String[] args) throws Exception {
String jsonInput = "[" +
" [" +
" {\"word\": \"china\", \"count\": 0}," +
" {\"word\": \"kids\", \"count\": 1}," +
" {\"word\": \"music\", \"count\": 0}" +
" ]," +
" [" +
" {\"word\": \"china\", \"count\": 3}," +
" {\"word\": \"kids\", \"count\": 0}," +
" {\"word\": \"music\", \"count\": 2}" +
" ]," +
" [" +
" {\"word\": \"china\", \"count\": 10}," +
" {\"word\": \"kids\", \"count\": 3}," +
" {\"word\": \"music\", \"count\": 2}" +
" ]" +
"]";
// 1. 使用Josson加载JSON字符串
Josson josson = Josson.fromJsonString(jsonInput);
// 2. 构建Josson查询表达式进行数据转换
// flatten(): 将所有嵌套数组扁平化为单个数组
// group(word): 按 'word' 字段进行分组
// map(text:word, min:elements.min(count), max:elements.max(count)):
// 映射为新结构,其中 text 取 word 值,min 取分组内 count 的最小值,max 取分组内 count 的最大值
JsonNode transformedNode = josson.getNode(
"flatten()" +
".group(word)" +
".map(text:word, min:elements.min(count), max:elements.max(count))"
);
// 3. 使用Jackson ObjectMapper将转换后的JsonNode反序列化为POJO列表
ObjectMapper objectMapper = new ObjectMapper();
List words = objectMapper.convertValue(transformedNode, new TypeReference>() {});
// 4. 打印结果
words.forEach(System.out::println);
}
}
Josson查询表达式解析:
- flatten(): 这个函数的作用是将多维数组结构扁平化为一维数组。在我们的例子中,它将[[{...}, {...}], [{...}]]转换为[{...}, {...}, {...}, {...}, ...],方便后续的分组操作。
- group(word): 将扁平化后的所有对象按照它们的word字段值进行分组。例如,所有word为"china"的对象会被分到一组。
- map(text:word, min:elements.min(count), max:elements.max(count)): 这是最终的映射操作,它为每个分组生成一个新的对象。
- text:word: 将分组键(即word的值)映射到新对象的text字段。
- min:elements.min(count): elements代表当前分组中的所有原始对象。elements.min(count)计算这些对象中count字段的最小值,并将其映射到新对象的min字段。
- max:elements.max(count): 类似地,计算count字段的最大值,并映射到新对象的max字段。
运行结果
执行上述代码,将得到以下输出:
text=china min=0 max=10 text=kids min=0 max=3 text=music min=0 max=2
这正是我们期望的结果,每个单词的最小和最大出现次数都被正确计算并映射到了Word对象中。
注意事项与总结
- Josson的优势: Josson库极大地简化了复杂JSON数据的转换和聚合逻辑。相比于手动编写嵌套循环或自定义Jackson反序列化器,Josson的表达式语言更简洁、易读,并且功能强大,能够处理各种复杂的查询和转换需求。
- Jackson的配合: Josson负责将原始的复杂JSON结构转换为Jackson能够直接反序列化的目标结构。Jackson ObjectMapper则负责将Josson处理后的JsonNode转换为具体的Java POJO对象。两者结合,实现了高效且灵活的JSON数据处理流程。
- 适用场景: 这种方法特别适用于需要从非结构化或半结构化的JSON数据中提取聚合统计信息、进行数据重塑或扁平化的场景。
- 性能考量: 对于极大规模的JSON数据,应考虑Josson的性能特性,并结合流式处理或其他优化策略。通常情况下,对于中等规模的数据集,Josson的性能表现良好。
-
替代方案: 虽然Josson提供了优雅的解决方案,但也可以通过以下方式实现:
-
手动遍历: 使用Jackson将JSON反序列化为List
- >>,然后手动遍历并聚合数据。这种方式代码量大且易出错。
- 自定义Jackson Deserializer: 编写一个复杂的JsonDeserializer来处理嵌套结构并计算统计量。这种方式虽然可行,但复杂度较高,尤其是在JSON结构多变时。
-
手动遍历: 使用Jackson将JSON反序列化为List
综上所述,利用Josson库进行JSON预处理,再结合Jackson进行POJO反序列化,是处理Java中复杂JSON数据转换和统计聚合的一种高效且推荐的方法。它将数据转换逻辑从Java代码中抽象出来,使得代码更清晰、更易维护。









