SpringBoot + Mybatis + MySQL 批量新增数据如何避免 OOM?

花韻仙語
发布: 2024-10-30 12:49:50
原创
507人浏览过

springboot + mybatis + mysql 批量新增数据如何避免 oom?

springboot + mybatis + mysql 批量新增数据避免 oom

在批量插入大量数据到 mysql 数据库时,很容易出现 oom(outofmemory)错误。为了避免这种情况,可以采取以下策略:

首先,对传进来的数据进行细分处理。例如,每 1w 条数据插入一次。这可以显着减少一次性加载到内存中的数据量。

其次,优化代码。在给出的代码中,可以对temp 变量的处理进行简化:

for (int i = 0; i < max; i += count) {
    list<integer> list1 = list.sublist(i, math.min(i + count, max));
    usermapper.insert(list1);
}
登录后复制

另外,更好的处理方法是使用分批保存策略,即将数据分批存储在临时表中,然后将临时表的数据批量导入到目标表。这种方法可以有效地避免 oom 错误,并且效率更高。

具体实现方法如下:

// 创建临时表
CREATE TABLE tmp_user (
    id INT NOT NULL,
    name VARCHAR(255) NOT NULL
);

// 批量插入数据到临时表
List<Integer> idList = new ArrayList<>();
List<String> nameList = new ArrayList<>();
for (User user : list) {
    idList.add(user.getId());
    nameList.add(user.getName());
}
String sql = "INSERT INTO tmp_user (id, name) VALUES (?, ?)";
jdbcTemplate.batchUpdate(sql, new BatchPreparedStatementSetter() {
    @Override
    public void setValues(PreparedStatement ps, int i) throws SQLException {
        ps.setInt(1, idList.get(i));
        ps.setString(2, nameList.get(i));
    }

    @Override
    public int getBatchSize() {
        return idList.size();
    }
});

// 将临时表数据导入目标表
sql = "INSERT INTO user (id, name) SELECT id, name FROM tmp_user";
jdbcTemplate.execute(sql);

// 删除临时表
DROP TABLE tmp_user;
登录后复制

通过使用分批保存策略,可以有效地避免 oom 错误,并且提高批量插入数据的效率。

以上就是SpringBoot + Mybatis + MySQL 批量新增数据如何避免 OOM?的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
相关标签:
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号