SpringBoot + Mybatis + MySQL 批量新增数据如何避免 OOM？-mysql教程-PHP中文网

SpringBoot + Mybatis + MySQL 批量新增数据如何避免 OOM？

花韻仙語

发布： 2024-10-30 12:49:50

原创

553人浏览过

springboot + mybatis + mysql 批量新增数据如何避免 oom？

springboot + mybatis + mysql 批量新增数据避免 oom

在批量插入大量数据到 mysql 数据库时，很容易出现 oom（outofmemory）错误。为了避免这种情况，可以采取以下策略：

首先，对传进来的数据进行细分处理。例如，每 1w 条数据插入一次。这可以显着减少一次性加载到内存中的数据量。

其次，优化代码。在给出的代码中，可以对temp 变量的处理进行简化：

图可丽批量抠图

用AI技术提高数据生产力，让美好事物更容易被发现

查看详情

for (int i = 0; i < max; i += count) {
    list<integer> list1 = list.sublist(i, math.min(i + count, max));
    usermapper.insert(list1);
}

登录后复制

另外，更好的处理方法是使用分批保存策略，即将数据分批存储在临时表中，然后将临时表的数据批量导入到目标表。这种方法可以有效地避免 oom 错误，并且效率更高。

具体实现方法如下：

// 创建临时表
CREATE TABLE tmp_user (
    id INT NOT NULL,
    name VARCHAR(255) NOT NULL
);

// 批量插入数据到临时表
List<Integer> idList = new ArrayList<>();
List<String> nameList = new ArrayList<>();
for (User user : list) {
    idList.add(user.getId());
    nameList.add(user.getName());
}
String sql = "INSERT INTO tmp_user (id, name) VALUES (?, ?)";
jdbcTemplate.batchUpdate(sql, new BatchPreparedStatementSetter() {
    @Override
    public void setValues(PreparedStatement ps, int i) throws SQLException {
        ps.setInt(1, idList.get(i));
        ps.setString(2, nameList.get(i));
    }

    @Override
    public int getBatchSize() {
        return idList.size();
    }
});

// 将临时表数据导入目标表
sql = "INSERT INTO user (id, name) SELECT id, name FROM tmp_user";
jdbcTemplate.execute(sql);

// 删除临时表
DROP TABLE tmp_user;

登录后复制

通过使用分批保存策略，可以有效地避免 oom 错误，并且提高批量插入数据的效率。

以上就是SpringBoot + Mybatis + MySQL 批量新增数据如何避免 OOM？的详细内容，更多请关注php中文网其它相关文章！