如何批量插入10万条数据-linux运维-PHP中文网

如何批量插入10万条数据

絕刀狂花

发布： 2025-07-19 09:58:26

原创

598人浏览过

如何批量插入10万条数据的思路

如何批量插入10万条数据

在进行批量插入时，通常有两种主要的思路：

使用for循环逐条插入（需要开启批处理）：
- 这种方法的优点是，JDBC中的PreparedStatement具有预编译功能，可以缓存并提高后续SQL执行的速度。此外，JDBC可以开启批处理，批处理的执行效率非常高。
- 缺点在于，如果SQL服务器和应用服务器不在同一台机器上，网络IO可能会拖慢SQL执行速度。
生成一条SQL语句进行插入：
- 这种方法的优点是只需一次网络IO，即使需要分片处理，也只是少数几次网络IO，因此在网络IO上不会花费太多时间。
- 缺点包括SQL语句可能过长，可能需要分片后批量处理；无法充分利用PreparedStatement的预编译优势，SQL需要重新解析且无法复用；数据库管理器解析长SQL语句也需要时间。

关键是要评估网络IO所需的时间是否超过SQL插入的时间，这是选择批量插入方法的核心问题。

根据实际情况选择合适的批量插入方法。

MyBatis Plus的批量插入方法

MyBatis Plus提供了一个批量插入方法saveBatch，我们来看一下它的实现源码：

@Transactional(rollbackFor = Exception.class)
@Override
public boolean saveBatch(Collection<T> entityList, int batchSize) {
    String sqlStatement = getSqlStatement(SqlMethod.INSERT_ONE);
    return executeBatch(entityList, batchSize, (sqlSession, entity) -> sqlSession.insert(sqlStatement, entity));
}

登录后复制

这里的sqlStatement是INSERT_ONE，即逐条插入。

图可丽批量抠图

用AI技术提高数据生产力，让美好事物更容易被发现

查看详情

executeBatch方法如下：

public static <E> boolean executeBatch(Class<?> entityClass, Log log, Collection<E> list, int batchSize, BiConsumer<SqlSession, E> consumer) {
    Assert.isFalse(batchSize < 1, "batchSize must not be less than 1");
    return SqlSessionUtils.doBatch(entityClass, log, list, batchSize, (sqlSession, entityList) -> {
        int size = list.size();
        int i = 1;
        for (E element : list) {
            consumer.accept(sqlSession, element);
            if ((i % batchSize == 0) || i == size) {
                sqlSession.flushStatements();
            }
            i++;
        }
    });
}

登录后复制

注意return中的第三个参数是一个lambda表达式，这是MP批量插入的核心逻辑。MP首先对数据进行分片（默认分片大小为1000），然后逐条插入。进一步查看executeBatch方法，会发现这里的sqlSession实际上是一个批处理的sqlSession，而不是普通的sqlSession。

参考资料

10万条数据批量插入，到底怎么做才快？分享计划

博客内容将同步至PHP中文网+社区，邀请大家一同入驻：https://www.php.cn/link/f7e88f8ae3ce74bc6225e0b5c78a46b8

许可协议

本文采用署名-非商业性使用-相同方式共享 4.0 国际许可协议，转载请注明出处。

以上就是如何批量插入10万条数据的详细内容，更多请关注php中文网其它相关文章！