批量插入数据避免oom
在springboot+mybatis+mysql的项目中，批量插入数据时，数据量过大可能导致oom异常。下面介绍如何避免这种情况：
问题提出：
假如有一个批量插入数据的接口，数据以list形式传入，为了避免插入时出现oom，如何处理？
思路：
对传入数据分批插入，每批插入一定数量的数据。
实现代码：
前面的实现代码可以优化为：
public void insert(Listlist) { int batchSize = 10000; // 根据实际情况调整分批大小 int total = list.size(); for (int i = 0; i < total; i += batchSize) { int end = Math.min(total, i + batchSize); List subList = list.subList(i, end); userMapper.insertBatch(subList); // 使用Mybatis提供的batchInsert方法 } }
使用mybatis的batchinsert方法，可以一次插入多条数据，提高效率。
更好的方法：
除了分批插入外，还有以下方法可以优化批量插入数据过程：
- 使用流式处理，避免将所有数据加载到内存中。
- 使用load data infile或jdbc批处理等更快的大数据加载方法。
- 使用缓冲区管理内存，防止一次性分配过多内存。
