首页 > Java > java教程 > 正文

Spring Boot中动态读取并处理更新的JSON文件

心靈之曲
发布: 2025-11-12 16:38:03
原创
451人浏览过

Spring Boot中动态读取并处理更新的JSON文件

本教程旨在解决spring boot应用中从`src/main/resources`目录读取不断更新的json文件时遇到的问题。我们将深入分析`getresourceasstream`的局限性,并提供一种健壮的解决方案,通过配置外部文件路径并结合spring的`resourceloader`,实现周期性地从文件系统读取最新json数据,并将其同步至数据库,确保数据实时性与应用稳定性。

Spring Boot中动态读取更新JSON文件的实践指南

在Spring Boot应用开发中,有时我们需要周期性地读取并处理一个不断更新的外部JSON文件,并将其数据持久化到数据库。然而,直接使用Class.getResourceAsStream()方法从src/main/resources目录读取文件时,可能会遇到文件内容无法实时更新的问题。本指南将详细解释这一现象的原因,并提供一个基于Spring ResourceLoader的专业解决方案。

1. 问题解析:为什么getResourceAsStream无法读取更新?

当您将JSON文件放置在Spring Boot项目的src/main/resources目录下时,该文件在项目构建(如打包成JAR或WAR)后,会被视为应用程序的“classpath资源”。

  • 开发环境 在开发阶段,IDE通常会将src/main/resources目录直接添加到应用的classpath中,此时getResourceAsStream()可能直接读取到源文件系统中的文件。
  • 生产环境: 当应用被打包成可执行JAR文件时,src/main/resources目录下的所有内容都会被嵌入到JAR包内部。getResourceAsStream()方法此时会从JAR包内部读取这些资源。一旦JAR包被创建,其内部的资源就是静态的、不可变的。即使您在文件系统上修改了原始的src/main/resources/json/file.json文件,运行中的JAR包也无法感知到这些外部修改,它始终读取的是打包时包含的那个版本。

因此,如果您的JSON文件是需要被外部进程或应用自身周期性更新的,并期望应用能读取到这些更新,那么将其作为classpath资源处理是不可行的。我们需要一种直接访问文件系统的方式。

2. 解决方案:从文件系统读取动态文件

为了解决上述问题,我们需要让Spring Boot应用直接从文件系统而不是classpath中读取文件。Spring框架提供了强大的ResourceLoader接口,能够以统一的方式加载各种类型的资源,包括文件系统资源、classpath资源、URL资源等。

核心思路如下:

  1. 配置外部文件路径: 将JSON文件的路径定义为可配置的属性,最好是文件系统路径。
  2. 使用ResourceLoader: 注入ResourceLoader,并结合配置的文件路径来获取Resource对象。
  3. 获取输入流: 从Resource对象获取输入流,进而解析JSON数据。

3. 实施步骤

我们将通过一个具体的示例来演示如何实现这一功能。

3.1 步骤一:配置JSON文件路径

在src/main/resources/application.properties或application.yml中定义JSON文件的路径。为了在开发环境中方便测试,我们可以将其指向项目内部的src/main/resources目录,但在生产环境中,建议指向一个外部的、独立的目录。

src/main/resources/application.properties

# 定义JSON文件的文件系统路径
# 在开发环境中,可以指向项目内部的resources目录
# 在生产环境中,应指向外部的绝对路径,例如:file:/opt/app/data/file.json
app.data.json-file-path=file:./src/main/resources/json/file.json
登录后复制

这里使用file:前缀明确指示ResourceLoader这是一个文件系统资源。./表示当前工作目录。

Find JSON Path Online
Find JSON Path Online

Easily find JSON paths within JSON objects using our intuitive Json Path Finder

Find JSON Path Online 30
查看详情 Find JSON Path Online

3.2 步骤二:创建数据模型和仓库

首先,确保您的数据模型(Master)和JPA仓库(MasterRepository)已正确定义。

src/main/java/com/example/demo/model/Master.java

package com.example.demo.model;

import lombok.Data;
import lombok.NoArgsConstructor;
import lombok.AllArgsConstructor;

import javax.persistence.Entity;
import javax.persistence.GeneratedValue;
import javax.persistence.GenerationType;
import javax.persistence.Id;

@Entity
@Data
@NoArgsConstructor
@AllArgsConstructor
public class Master {
    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;
    private String name;
    private String value;
    // 根据您的JSON结构添加其他字段
}
登录后复制

src/main/java/com/example/demo/Repository/MasterRepository.java

package com.example.demo.Repository;

import com.example.demo.model.Master;
import org.springframework.data.repository.CrudRepository;
import org.springframework.stereotype.Repository;

@Repository
public interface MasterRepository extends CrudRepository<Master, Long> {
}
登录后复制

3.3 步骤三:创建服务层处理数据持久化

MasterService负责处理Master对象的业务逻辑,特别是保存操作。

src/main/java/com/example/demo/Services/MasterService.java

package com.example.demo.Services;

import com.example.demo.Repository.MasterRepository;
import com.example.demo.model.Master;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional; // 导入Transactional

import java.util.List;

@Service
public class MasterService {
    private final MasterRepository masterRepository;

    // 推荐使用构造器注入
    public MasterService(MasterRepository masterRepository) {
        this.masterRepository = masterRepository;
    }

    public Iterable<Master> list() {
        return masterRepository.findAll();
    }

    @Transactional // 确保批量保存操作在一个事务中
    public Iterable<Master> save(List<Master> masters) {
        // 实际应用中,您可能需要处理更新或删除旧数据,以避免重复或过时数据
        // 例如:先清空表或根据业务ID进行更新
        // masterRepository.deleteAll(); // 如果是全量更新
        return masterRepository.saveAll(masters);
    }

    @Transactional
    public Master save(Master master){
        return masterRepository.save(master);
    }
}
登录后复制

注意: 在save(List<Master> masters)方法中,如果JSON文件是全量数据,您可能需要考虑在保存前清空现有数据或实现更复杂的更新策略,以避免数据重复。这里简单地使用了saveAll。

3.4 步骤四:创建专门的服务处理文件读取与数据同步

将文件读取和数据同步的逻辑封装到一个独立的Spring Service中,并使用@Scheduled注解实现周期性执行。

src/main/java/com/example/demo/Services/JsonFileProcessor.java

package com.example.demo.Services;

import com.example.demo.model.Master;
import com.fasterxml.jackson.core.type.TypeReference;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.core.io.Resource;
import org.springframework.core.io.ResourceLoader;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Service;

import java.io.IOException;
import java.io.InputStream;
import java.util.List;

@Service
public class JsonFileProcessor {

    private final MasterService masterService;
    private final ObjectMapper objectMapper;
    private final ResourceLoader resourceLoader;
    private final String jsonFilePath;

    // 使用构造器注入所有依赖和配置值
    public JsonFileProcessor(MasterService masterService,
                             ObjectMapper objectMapper,
                             ResourceLoader resourceLoader,
                             @Value("${app.data.json-file-path}") String jsonFilePath) {
        this.masterService = masterService;
        this.objectMapper = objectMapper;
        this.resourceLoader = resourceLoader;
        this.jsonFilePath = jsonFilePath;
    }

    @Scheduled(fixedRate = 90000) // 每90秒执行一次
    public void processAndUpdateData() {
        System.out.println("Scheduled task started: Reading JSON file from " + jsonFilePath);
        try {
            // 使用ResourceLoader获取资源
            Resource resource = resourceLoader.getResource(jsonFilePath);

            // 检查资源是否存在且可读
            if (!resource.exists()) {
                System.err.println("Error: JSON file not found at: " + jsonFilePath);
                return;
            }
            if (!resource.isReadable()) {
                System.err.println("Error: JSON file not readable at: " + jsonFilePath);
                return;
            }

            // 使用try-with-resources确保InputStream被正确关闭
            try (InputStream inputStream = resource.getInputStream()) {
                TypeReference<List<Master>> typeReference = new TypeReference<List<Master>>() {};
                List<Master> masters = objectMapper.readValue(inputStream, typeReference);

                if (masters != null && !masters.isEmpty()) {
                    System.out.println("Read " + masters.size() + " records from JSON. First item: " + masters.get(0));
                    masterService.save(masters);
                    System.out.println("Saved " + masters.size() + " records to database.");
                } else {
                    System.out.println("No records found in JSON file or file is empty.");
                }
            }
        } catch (IOException e) {
            System.err.println("Error processing JSON file '" + jsonFilePath +
登录后复制

以上就是Spring Boot中动态读取并处理更新的JSON文件的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号