Hive 关于merge的几个参数

php中文网
发布: 2016-06-07 17:33:12
原创
1357人浏览过

hive.merge.mapfiles(defaulttrue):这个参数是用来控制是否merge MAP-ONLY型Job的文件输出(如果在Hive里设置了支持DP的话,并且

分析一下hive 关于merge的三个容易混淆的参数:

hive.mergejob.maponly

hive.merge.mapfiles

hive.merge.mapredfiles

这三个参数是merge以哪种方式的输出文件,以及以哪种方merge.听起来是不是很绕J

hive.merge.mapfiles(defaulttrue):这个参数是用来控制是否merge MAP-ONLY型Job的文件输出(如果在Hive里设置了支持DP的话,并且涉及到含有DP列的表,如果Hadoop不支持CombineInputFormat,即版本pre-0.20的话那么这个参数和下个参数是不生效的,即都是false)

hive.merge.mapredfiles(defaultfalse):这个参数是用来控制merge MAP-REDUCE型Job的文件输出

hive.mergejob.maponly(defaulttrue):这个参数是用来控制是以MAP-ONLY的形式来进行merge(这里有个前提条件就是需要Hadoop支持CombineInputFormat,,0.20之前的即使设置了这个参数true也不会生效)或者以MAP-REDUCE的形式来进行merge.不过关于这个参数还有一个未修复的Bug(https://issues.apache.org/jira/browse/HIVE-2869)因此默认值是true

同徽B2B电子商务软件 V46
同徽B2B电子商务软件 V46

同徽B2B电子商务软件是国内第一个基于J2EE架构的电子商务商业程序,在国内同类软件中市场占有率位居第一。目前客户分布二十多个省份,三十几个行业,直接和间接服务500万企业,其中包括多家部级单位和世界500强企业:商务部、农业部、德赛集团、宝钢集团、江苏龙华集团、深圳中农股份、中集集团等。 。 网站参数管理运营商可对整个网站进行灵活的配置,适应不同的运营需求网站更新将信息生成静态页面,加快浏览速

同徽B2B电子商务软件 V46 0
查看详情 同徽B2B电子商务软件 V46

Hive 的详细介绍:请点这里
Hive 的下载地址:请点这里

相关阅读:

基于Hadoop集群的Hive安装

Hive内表和外表的区别

Hadoop + Hive + Map +reduce 集群安装部署

Hive本地独立模式安装

Hive学习之WordCount单词统计

linux

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号