微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
最近更新
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
首页 > 数据库 > mysql教程 > 正文

10倍以上提高Pentaho Kettle的MySQL写入速度

php中文网
发布： 2016-06-07 15:52:47
原创
2066人浏览过

使用pentaho kettle做了个数据抓取入库的程序，大致这个样： 使用文本调测的时候，速度大概7500条/秒，但是换上数据库后，速度只有150条/秒，对于20万左右的数据入库要超过20分钟，这让人没法接受。 使用批量插入好像也没什么效果，依然慢 求助Google，找到

使用pentaho kettle做了个数据抓取入库的程序，大致这个样：


10倍以上提高Pentaho Kettle的MySQL写入速度
    使用文本调测的时候，速度大概7500条/秒，但是换上数据库后，速度只有150条/秒，对于20万左右的数据入库要超过20分钟，这让人没法接受。

   使用批量插入好像也没什么效果，依然慢


10倍以上提高Pentaho Kettle的MySQL写入速度
 求助Google，找到了2个参考：

   参考1：http://julienhofstede.blogspot.nl/2014/02/increase-mysql-output-to-80k-rowssecond.html

   参考2：http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9

   

描述的基本一致，根据参考调整了连接参数：

MarsCode
MarsCode

字节跳动旗下的免费AI编程工具

MarsCode 279
查看详情 MarsCode

Java代码 10倍以上提高Pentaho Kettle的MySQL写入速度 10倍以上提高Pentaho Kettle的MySQL写入速度10倍以上提高Pentaho Kettle的MySQL写入速度

  1. useServerPrepStmts=false  
  2. rewriteBatchedStatements=true  
  3. useCompression=true   
useServerPrepStmts=false
rewriteBatchedStatements=true
useCompression=true
登录后复制

  数据写入速度马上提升到2300条/秒左右，开3个线程，写入速度就与文本写入差不多了。

 

  也算写了很长时间的代码，使用Kettle也算有一段时间，一般只是关注Tranaction如何实现功能，对连接参数可以说基本不关注，但这样的速度提升摆在面前，不熟悉这些性能参数，要想提高性能还真的不容易，写出来也是希望碰到相同问题时能有点参考，因为使用百度，完全搜索不到^_^，写点中文的，希望能被收录

 

相关标签：
mysql

大家都在看：

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：python mysql数据库 'latin 下一篇：Mysql创建、删除用户
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
mysql如何使用LIKE模糊查询_mysql LIKE模糊查询技巧 LIKE是MySQL中用于模糊查询的操作符，配合%（匹配任意字符）和_（匹配单个字符）通配符使用，支持通过ESCAPE转义特殊字符，区分大小写由排序规则决定，可借助BINARY实现区分，建议避免前置%以利用索引提升性能。
2025-11-30 04:45:16
916
mysql如何在Windows环境搭建_mysql Windows环境安装方法 首先下载MySQL离线安装包并运行安装程序，选择DeveloperDefault类型完成组件安装；随后配置MySQL服务器，选用DevelopmentComputer模式，设置root密码并确认端口为3306；安装完成后通过命令行输入mysql-uroot-p验证登录，成功进入mysql>界面即表示安装成功；可选使用MySQLWorkbench进行图形化管理。
2025-11-30 04:23:28
350
mysql密码复杂度怎么设置_mysql密码复杂度设置与修改教程 首先确认并安装validate_password插件，然后配置密码策略级别、长度及字符要求，通过SETGLOBAL命令设置并写入配置文件使其永久生效，最后测试密码修改验证规则是否起作用。
2025-11-30 02:45:33
284
mysql客户端安装后如何设置SSL_mysql客户端SSL安全连接配置教程 首先确认MySQL服务端已启用SSL，通过SHOWVARIABLESLIKE‘%ssl%’检查have_ssl为YES，并获取ca.pem、client-cert.pem和client-key.pem证书文件；然后将证书安全复制到客户端并设置权限；接着在客户端连接时通过命令行或~/.my.cnf配置ssl-ca、ssl-cert、ssl-key参数；最后使用status或SHOWSTATUSLIKE‘Ssl_cipher’验证SSL连接生效，确保数据传输安全。
2025-11-30 01:17:11
466
mysql如何分析复制延迟_mysql复制延迟分析方法 复制延迟主要通过SHOWSLAVESTATUS查看Seconds_Behind_Master等字段判断；2.结合主从日志位置对比分析同步进度；3.从库磁盘I/O、CPU、内存等资源不足是常见瓶颈。
2025-11-30 00:12:51
626
mysql去重怎么用distinct_mysql使用distinct去重方法说明 DISTINCT用于去除查询重复数据，确保结果唯一；可对单列如SELECTDISTINCTcityFROMusers去重，也可多列组合去重如SELECTDISTINCTcity,jobFROMusers；常与COUNT结合统计唯一值数量，如SELECTCOUNT(DISTINCTcity)；注意其作用于所有选中字段，NULL视为相同值，大数据量下建议建索引以提升性能。
2025-11-29 17:18:10
593
如何在mysql中配置存储引擎参数_mysql存储引擎调整 InnoDB是MySQL默认存储引擎，支持事务和行级锁，通过配置innodb_buffer_pool_size、innodb_log_file_size等参数可优化性能，建表时应显式指定ENGINE=InnoDB并定期监控状态以调整策略。
2025-11-29 17:17:15
205
mysql数据库表设计最佳实践_mysql表设计方法 设计高效MySQL表需选用合适数据类型、合理主键与索引、规范命名、平衡范式与反范式，提升性能与可维护性。
2025-11-29 17:08:02
657
mysql中DELETE JOIN如何使用_mysql DELETE JOIN方法 DELETEJOIN用于根据关联表条件删除数据，语法为DELETEt1FROMtable1t1INNERJOINtable2t2ONt1.id=t2.ref_idWHERE条件；可使用LEFTJOIN删除无匹配记录的行，如删除未下单用户；支持多表删除，需在DELETE后列出多个表名；使用前应通过SELECT验证、备份数据并检查JOIN条件，确保操作安全。
2025-11-29 17:01:02
942
如何在mysql中配置字符集和排序规则_mysql字符集排序设置 正确配置MySQL字符集和排序规则可避免乱码并提升多语言支持。1.通过SHOWVARIABLES查看当前设置，character_set_server和collation_server决定新数据库默认值。2.在my.cnf或my.ini的[mysqld]段添加character-set-server=utf8mb4和collation-server=utf8mb4_unicode_ci，重启服务后生效。3.创建数据库时指定CHARACTERSETutf8mb4COLLATEutf8mb4_uni
2025-11-29 17:00:07
623
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部