首页 > Java > java教程 > 正文

使用Gson解析ndJson多条记录的完整指南

花韻仙語
发布: 2025-12-02 13:15:24
原创
167人浏览过

使用Gson解析ndJson多条记录的完整指南

本文详细介绍了如何使用gson库在java中高效解析包含多条记录的ndjson文件。通过利用`jsonreader`的迭代读取能力和`peek()`方法判断文件结束,结合`setlenient(true)`处理非严格json格式,可以成功将所有ndjson记录映射到对应的dto对象列表中,避免了只读取首条记录的问题,为处理大规模ndjson数据提供了实用的解决方案。

使用Gson解析ndJson多条记录

在处理数据时,ndJson(Newline Delimited JSON)是一种常见的文件格式,它将每个JSON对象独立地放置在文件的一行中,以换行符分隔。当需要使用Java和Gson库解析这类文件时,一个常见的挑战是如何读取并映射文件中的所有记录,而不仅仅是第一条。本文将深入探讨如何高效地实现这一目标。

ndJson格式概述

ndJson文件的特点是每行包含一个完整的JSON对象。例如:

{"id": 1, "name": "Alice"}
{"id": 2, "name": "Bob"}
{"id": 3, "name": "Charlie"}
登录后复制

这种格式在日志处理、数据流传输和大数据分析场景中非常有用,因为它允许逐行处理数据,无需一次性加载整个文件到内存中。

遇到的问题:只读取首条记录

当尝试使用Gson的fromJson()方法直接从FileReader或JsonReader读取ndJson文件时,通常只会成功解析并返回文件中的第一个JSON对象。这是因为fromJson()方法在遇到一个完整的JSON对象后就会停止读取,而不会自动迭代到文件的下一行。

考虑以下常见的错误实现:

import com.google.gson.Gson;
import com.google.gson.stream.JsonReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.Map;
import java.util.ArrayList;

// 假设 CustomerFeedDTO 类已定义
class CustomerFeedDTO {
    private Map<String, ?> profile;
    private Map<String, ?> phone;
    private ArrayList<?> addresses;
    private Map<String, ?> orders;
    private ArrayList<?> customs;

    // Getters and setters (省略)
    @Override
    public String toString() {
        return "CustomerFeedDTO{" +
               "profile=" + profile +
               ", phone=" + phone +
               ", addresses=" + addresses +
               ", orders=" + orders +
               ", customs=" + customs +
               '}';
    }
}

public class NdJsonParserProblem {
    public static void main(String[] args) {
        Gson gson = new Gson();
        try (JsonReader reader = new JsonReader(new FileReader("customer.json"))) {
            // 这种方式只会读取第一个JSON对象
            CustomerFeedDTO customerFeedDTO = gson.fromJson(reader, CustomerFeedDTO.class);
            System.out.println("只读取到第一条记录: " + customerFeedDTO);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}
登录后复制

上述代码只会将customer.json文件中的第一个JSON对象映射到CustomerFeedDTO实例中。

解决方案:迭代解析与JsonReader

要正确解析ndJson文件中的所有记录,我们需要利用JsonReader的迭代特性,通过循环逐个读取JSON对象。关键在于使用reader.peek()方法来判断文件是否已到达末尾,并结合reader.setLenient(true)来处理ndJson中可能存在的非严格JSON格式(例如,行与行之间的空白或注释)。

Otter.ai
Otter.ai

一个自动的会议记录和笔记工具,会议内容生成和实时转录

Otter.ai 91
查看详情 Otter.ai

以下是完整的解决方案代码:

import com.google.gson.Gson;
import com.google.gson.stream.JsonReader;
import com.google.gson.stream.JsonToken;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

// 假设 CustomerFeedDTO 类已定义,与上面示例相同
class CustomerFeedDTO {
    private Map<String, ?> profile;
    private Map<String, ?> phone;
    private ArrayList<?> addresses;
    private Map<String, ?> orders;
    private ArrayList<?> customs;

    // Getters and setters
    public Map<String, ?> getProfile() { return profile; }
    public void setProfile(Map<String, ?> profile) { this.profile = profile; }
    // ... 其他getter/setter
    @Override
    public String toString() {
        return "CustomerFeedDTO{" +
               "profile=" + profile +
               ", phone=" + phone +
               ", addresses=" + addresses +
               ", orders=" + orders +
               ", customs=" + customs +
               '}';
    }
}

public class NdJsonParserSolution {
    public static void main(String[] args) {
        List<CustomerFeedDTO> customerFeedDTOs = new ArrayList<>();
        Gson gson = new Gson();

        // 使用try-with-resources确保JsonReader正确关闭
        try (JsonReader reader = new JsonReader(new FileReader("customer.json"))) {
            // 启用宽松模式,以更好地处理ndJson格式,例如允许根级别的值之间没有分隔符
            reader.setLenient(true);

            // 循环读取,直到文件末尾
            // reader.peek() != JsonToken.END_DOCUMENT 是判断文件是否结束的关键
            while (reader.peek() != JsonToken.END_DOCUMENT) {
                // 将当前JSON对象映射到CustomerFeedDTO
                CustomerFeedDTO customerFeedDTO = gson.fromJson(reader, CustomerFeedDTO.class);
                customerFeedDTOs.add(customerFeedDTO);
            }

            // 打印所有解析出的记录
            System.out.println("成功解析所有记录:");
            for (int i = 0; i < customerFeedDTOs.size(); i++) {
                System.out.println("记录 #" + (i + 1) + ": " + customerFeedDTOs.get(i));
            }

        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}
登录后复制

代码解析:

  1. List<CustomerFeedDTO> customerFeedDTOs = new ArrayList<>();: 创建一个列表来存储所有解析后的CustomerFeedDTO对象。
  2. try (JsonReader reader = new JsonReader(new FileReader("customer.json"))): 使用try-with-resources语句确保JsonReader和FileReader在操作完成后自动关闭,防止资源泄露。
  3. reader.setLenient(true);: 这一行至关重要。ndJson文件通常是多行JSON对象,它们之间只用换行符分隔,而没有逗号等严格的JSON数组分隔符。默认情况下,JsonReader是严格模式,当遇到这种非标准分隔时会抛出异常。setLenient(true)允许JsonReader以更宽松的方式解析,从而能够正确处理ndJson。
  4. while (reader.peek() != JsonToken.END_DOCUMENT): 这是循环读取的核心。
    • reader.peek()方法用于查看下一个令牌的类型,而不会实际消费它。
    • JsonToken.END_DOCUMENT表示已到达JSON文档的末尾。通过检查下一个令牌是否不是文档末尾,我们可以确定是否还有更多的JSON对象可以读取。
    • 注意: 避免使用reader.hasNext()来判断,因为在某些情况下,当到达文档末尾时,hasNext()可能会抛出异常,而不是返回false。peek()方法更加稳健。
  5. CustomerFeedDTO customerFeedDTO = gson.fromJson(reader, CustomerFeedDTO.class);: 在每次循环中,gson.fromJson()方法会从当前的JsonReader位置开始,解析下一个完整的JSON对象,并将其映射到CustomerFeedDTO实例。
  6. customerFeedDTOs.add(customerFeedDTO);: 将解析出的DTO对象添加到列表中。

DTO类结构示例

为了完整性,这里提供CustomerFeedDTO的示例结构,它使用了Map<String, ?>和ArrayList<?>来灵活地处理ndJson中嵌套的、结构可能不完全固定的数据:

import java.util.ArrayList;
import java.util.Map;

public class CustomerFeedDTO {
    // 使用Map来处理结构可能不完全固定的JSON对象
    private Map<String, ?> profile;
    private Map<String, ?> phone;
    // 使用ArrayList来处理JSON数组
    private ArrayList<?> addresses;
    private Map<String, ?> orders;
    private ArrayList<?> customs;

    // 构造函数 (可选)
    public CustomerFeedDTO() {}

    // Getters and Setters
    public Map<String, ?> getProfile() {
        return profile;
    }

    public void setProfile(Map<String, ?> profile) {
        this.profile = profile;
    }

    public Map<String, ?> getPhone() {
        return phone;
    }

    public void setPhone(Map<String, ?> phone) {
        this.phone = phone;
    }

    public ArrayList<?> getAddresses() {
        return addresses;
    }

    public void setAddresses(ArrayList<?> addresses) {
        this.addresses = addresses;
    }

    public Map<String, ?> getOrders() {
        return orders;
    }

    public void setOrders(Map<String, ?> orders) {
        this.orders = orders;
    }

    public ArrayList<?> getCustoms() {
        return customs;
    }

    public void setCustoms(ArrayList<?> customs) {
        this.customs = customs;
    }

    @Override
    public String toString() {
        return "CustomerFeedDTO{" +
               "profile=" + profile +
               ", phone=" + phone +
               ", addresses=" + addresses +
               ", orders=" + orders +
               ", customs=" + customs +
               '}';
    }
}
登录后复制

实际应用中,建议根据JSON的具体结构定义更具体的Java类,而不是广泛使用Map和ArrayList<?>,以获得更好的类型安全性和代码可读性

总结

通过结合Gson库、JsonReader的迭代能力以及setLenient(true)宽松模式,我们可以有效地解析包含多条记录的ndJson文件。关键在于使用while (reader.peek() != JsonToken.END_DOCUMENT)循环逐个读取JSON对象,并将其映射到Java DTO列表中。这种方法不仅解决了只读取第一条记录的问题,也为处理大规模ndJson数据流提供了健壮且高效的解决方案。在实际开发中,请务必处理IOException,并考虑使用try-with-resources来管理文件资源。

以上就是使用Gson解析ndJson多条记录的完整指南的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号