MyBatis批量插入数据详细优化方案

mybatis批量插入数据提升效率的核心方法包括：1. 使用executortype.batch，重用statement并缓存多条sql一次性提交；2. 调整jdbc.batch_size参数优化批次大小；3. 利用数据库支持的单条多值插入语法配合mybatis的<foreach>标签；4. 避免在循环中调用mapper方法，应组织成list一次性传递；5. 使用数据库连接池减少连接开销；6. 关闭自动提交减少事务开销；7. 根据情况选择使用存储过程或优化sql语句。同时需注意处理自增主键、内存溢出和性能监控问题，最终根据实际场景测试选择最合适的方案。

MyBatis批量插入数据，核心在于提升效率，减少数据库交互次数。优化方案围绕减少网络开销、利用数据库特性和MyBatis本身的配置展开。

解决方案：

1. 使用ExecutorType.BATCH: 这是最基础也是最关键的一步。MyBatis默认的ExecutorType是SIMPLE，每次执行SQL都会创建一个新的Statement。BATCH模式下，MyBatis会重用Statement，将多个SQL语句缓存在一个Statement中，然后一次性提交给数据库。

   

   SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream);
   SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
   try {
       YourMapper mapper = sqlSession.getMapper(YourMapper.class);
       List<YourObject> list = ...; // 你的数据列表
       for (YourObject obj : list) {
           mapper.insert(obj);
       }
       sqlSession.commit();
   } catch (Exception e) {
       sqlSession.rollback();
       // 处理异常
   } finally {
       sqlSession.close();
   }

   登录后复制

2. 调整jdbc.batch_size: 这个参数控制了BATCH模式下，多少条SQL语句会被合并到一个批次中提交。默认值通常较小，可以根据实际情况适当增大。注意，这个值并非越大越好，过大的批次可能导致内存占用过高，反而降低性能。需要根据数据量和数据库服务器的性能进行测试，找到最佳值。

   在MyBatis配置文件中：

   

   <configuration>
       <settings>
           <setting name="defaultExecutorType" value="BATCH"/>
           <setting name="jdbc.batch_size" value="1000"/> <!-- 示例值，根据实际情况调整 -->
       </settings>
   </configuration>

   登录后复制

3. 利用数据库批量插入语法: 某些数据库支持一条SQL语句插入多条数据，例如MySQL的INSERT INTO table_name (column1, column2) VALUES (value1, value2), (value3, value4), ...。 MyBatis可以配合<foreach>标签生成这样的SQL语句。

   <insert id="batchInsert" parameterType="java.util.List">
       INSERT INTO your_table (column1, column2) VALUES
       <foreach collection="list" item="item" separator=",">
           (#{item.column1}, #{item.column2})
       </foreach>
   </insert>

   登录后复制

   这种方式比ExecutorType.BATCH效率更高，因为它只需要执行一条SQL语句。 但需要注意SQL语句的长度限制，避免超过数据库允许的最大长度。

4. 避免在循环中执行Mapper方法: 这是新手常犯的错误。 即使使用了ExecutorType.BATCH，如果在Java代码中循环调用Mapper的插入方法，仍然会造成大量的数据库交互。 应该将数据组织成List，一次性传递给Mapper方法。

5. 使用数据库连接池: 数据库连接的建立和销毁是比较耗时的操作。 使用连接池可以避免频繁地创建和销毁连接，提高性能。 常用的连接池有Druid、HikariCP等。

6. 优化SQL语句: 确保SQL语句的效率。 例如，避免使用SELECT *，只查询需要的列； 使用索引加速查询； 避免在WHERE子句中使用函数等。

7. 关闭自动提交: 在批量插入数据时，可以先关闭数据库的自动提交，在所有数据插入完成后再手动提交。 这样可以减少事务的开销。

   connection.setAutoCommit(false);
   // ... 插入数据 ...
   connection.commit();
   connection.setAutoCommit(true);

   登录后复制

   但需要注意，如果程序在插入过程中发生异常，需要手动回滚事务，否则可能会导致数据不一致。

8. 考虑使用存储过程: 如果批量插入的逻辑比较复杂，可以考虑使用存储过程。 存储过程在数据库服务器端执行，可以减少网络开销。

9. 分析慢SQL: 定期分析数据库的慢SQL日志，找出性能瓶颈，并进行优化。

MyBatis批量插入数据时如何处理自增主键？

通常有两种策略：

• 数据库自增主键，MyBatis返回主键值: 如果数据库支持自增主键，并且需要在插入后获取主键值，可以使用MyBatis的<selectKey>标签。

  <insert id="insert" parameterType="YourObject">
      <selectKey keyProperty="id" order="AFTER" resultType="java.lang.Long">
          SELECT LAST_INSERT_ID()
      </selectKey>
      INSERT INTO your_table (column1, column2) VALUES (#{column1}, #{column2})
  </insert>

  登录后复制

  keyProperty指定了主键对应的属性名，order="AFTER"表示在插入语句执行后执行SELECT LAST_INSERT_ID()，获取自增主键的值。

• 预先生成主键，避免数据库自增: 有些场景下，不希望依赖数据库的自增主键，而是使用UUID或者雪花算法等方式预先生成主键。 这样可以避免数据库的性能瓶颈，并且方便分布式系统的扩展。

  YourObject obj = new YourObject();
  obj.setId(generateId()); // 使用UUID或者雪花算法生成主键
  mapper.insert(obj);

  登录后复制

  这种方式需要在插入前手动设置主键值。

  

  图可丽批量抠图

  用AI技术提高数据生产力，让美好事物更容易被发现

  26

  查看详情

批量插入时遇到数据量过大导致内存溢出怎么办？

当数据量非常大时，即使使用了批量插入，也可能因为数据量过大而导致内存溢出。 可以考虑以下几种解决方案：

1. 分批处理: 将数据分成多个小批次，逐批插入数据库。 这样可以减少每次加载到内存中的数据量，避免内存溢出。

   List<YourObject> list = ...;
   int batchSize = 1000; // 批次大小
   for (int i = 0; i < list.size(); i += batchSize) {
       List<YourObject> batchList = list.subList(i, Math.min(i + batchSize, list.size()));
       yourMapper.batchInsert(batchList);
   }

   登录后复制

2. 使用流式查询: 如果数据是从数据库中读取的，可以使用流式查询，每次只读取一部分数据到内存中。 这样可以避免一次性加载所有数据到内存。

3. 优化JVM参数: 可以适当调整JVM的堆内存大小，增加内存容量。 但需要注意，过大的堆内存可能导致垃圾回收时间过长，影响性能。

4. 使用更高效的数据结构: 如果数据结构设计不合理，可能会导致内存占用过高。 可以考虑使用更高效的数据结构，例如使用StringBuilder代替String进行字符串拼接。

5. 压缩数据: 在将数据插入数据库之前，可以先对数据进行压缩，减少数据量。 常用的压缩算法有Gzip、Snappy等。

如何在MyBatis中监控批量插入的性能？

监控批量插入的性能，可以帮助我们发现性能瓶颈，并进行优化。 可以使用以下几种方法：

1. 使用MyBatis的拦截器: MyBatis提供了拦截器机制，可以拦截SQL语句的执行过程。 我们可以编写一个拦截器，记录SQL语句的执行时间，并输出到日志中。

   @Intercepts({@Signature(type = Executor.class, method = "update", args = {MappedStatement.class, Object.class})})
   public class PerformanceInterceptor implements Interceptor {
       @Override
       public Object intercept(Invocation invocation) throws Throwable {
           long start = System.currentTimeMillis();
           Object result = invocation.proceed();
           long end = System.currentTimeMillis();
           MappedStatement mappedStatement = (MappedStatement) invocation.getArgs()[0];
           String sqlId = mappedStatement.getId();
           System.out.println("SQL: " + sqlId + ", 执行时间: " + (end - start) + "ms");
           return result;
       }
   }

   登录后复制

   需要在MyBatis配置文件中配置拦截器：

   <plugins>
       <plugin interceptor="com.example.PerformanceInterceptor"/>
   </plugins>

   登录后复制

2. 使用数据库的监控工具: 大多数数据库都提供了监控工具，可以监控SQL语句的执行情况，例如MySQL的Performance Schema、Oracle的AWR等。

3. 使用APM工具: APM（Application Performance Management）工具可以监控应用程序的性能，包括数据库操作的性能。 常用的APM工具有SkyWalking、Pinpoint、CAT等。

4. 自定义日志: 在代码中添加日志，记录SQL语句的执行时间。 这种方式比较简单，但需要手动添加日志代码。

选择哪种批量插入方式更高效？

不同的批量插入方式的效率取决于具体的场景。

• 单条SQL插入多条数据（INSERT INTO ... VALUES (...), (...), ...）: 通常情况下，这种方式效率最高，因为它只需要执行一条SQL语句。 但需要注意SQL语句的长度限制，避免超过数据库允许的最大长度。 适用于数据量不大，且数据库支持该语法的情况。

• ExecutorType.BATCH: 适用于数据量较大，且数据库不支持单条SQL插入多条数据的情况。 MyBatis会将多个SQL语句缓存在一个Statement中，然后一次性提交给数据库，减少网络开销。

• 存储过程: 适用于批量插入的逻辑比较复杂的情况。 存储过程在数据库服务器端执行，可以减少网络开销。

总的来说，应该根据实际情况进行测试，选择最适合的批量插入方式。 可以先尝试单条SQL插入多条数据，如果遇到SQL语句长度限制或者性能瓶颈，再考虑使用ExecutorType.BATCH或者存储过程。

以上就是MyBatis批量插入数据详细优化方案的详细内容，更多请关注php中文网其它相关文章！