springboot + mybatis + mysql 批量新增数据避免 oom
在批量插入大量数据到 mysql 数据库时，很容易出现 oom（outofmemory）错误。为了避免这种情况，可以采取以下策略：
首先，对传进来的数据进行细分处理。例如，每 1w 条数据插入一次。这可以显着减少一次性加载到内存中的数据量。
其次，优化代码。在给出的代码中，可以对temp 变量的处理进行简化：
for (int i = 0; i < max; i += count) {
list list1 = list.sublist(i, math.min(i + count, max));
usermapper.insert(list1);
} 另外，更好的处理方法是使用分批保存策略，即将数据分批存储在临时表中，然后将临时表的数据批量导入到目标表。这种方法可以有效地避免 oom 错误，并且效率更高。
具体实现方法如下：
// 创建临时表
CREATE TABLE tmp_user (
id INT NOT NULL,
name VARCHAR(255) NOT NULL
);
// 批量插入数据到临时表
List idList = new ArrayList<>();
List nameList = new ArrayList<>();
for (User user : list) {
idList.add(user.getId());
nameList.add(user.getName());
}
String sql = "INSERT INTO tmp_user (id, name) VALUES (?, ?)";
jdbcTemplate.batchUpdate(sql, new BatchPreparedStatementSetter() {
@Override
public void setValues(PreparedStatement ps, int i) throws SQLException {
ps.setInt(1, idList.get(i));
ps.setString(2, nameList.get(i));
}
@Override
public int getBatchSize() {
return idList.size();
}
});
// 将临时表数据导入目标表
sql = "INSERT INTO user (id, name) SELECT id, name FROM tmp_user";
jdbcTemplate.execute(sql);
// 删除临时表
DROP TABLE tmp_user; 通过使用分批保存策略，可以有效地避免 oom 错误，并且提高批量插入数据的效率。
