hadoop的mr运算中，hbase可以作为输入数据源参与运算，其中作为htable的迭代器scan有几个使用技巧 涉及的方法如下： public void setBatch(int batch)public void setCaching(int caching)public void setCacheBlocks(boolean cacheBlocks) public void setB
hadoop的mr运算中，hbase可以作为输入数据源参与运算，其中作为htable的迭代器scan有几个使用技巧
涉及的方法如下：
public void setBatch(int batch) public void setCaching(int caching) public void setCacheBlocks(boolean cacheBlocks)
public void setBatch(int batch) ：
为设置获取记录的列个数，默认无限制，也就是返回所有的列
public void setCaching(int caching)：
每次从服务器端读取的行数，默认为配置文件中设置的值
public void setCacheBlocks(boolean cacheBlocks)：
YothCMS是由 石家庄优斯科技有限公司开发的一套完全开源建站系统，主要面向企业进行快速的建造简洁，高效，易用，安全的公司企业网门户站，稍具技术的开发人员就能够使用本系统以最低的成本、最少的人力投入在最短的时间内架设一个功能齐全、性能优越的公司企业网站。YothCMS是基于ASP+Access开发的一款轻巧高效的网站内容管理系统，提供了新闻管理模块，产品管理模块，文件管理模块。在使用过程中可以轻
0
为是否缓存块，默认缓存，我们分内存，缓存和磁盘，三种方式，一般数据的读取为内存->缓存->磁盘，当MR的时候为非热点数据，因此不需要缓存
因此在MR的时候最好设置如下：
scan.setCacheBlocks(false); scan.setCaching(200);//大了占内存，但是rpc少 scan.setBatch(6);//你需要的列
?
原文地址：MR中Hbase的Scan使用技巧, 感谢原作者分享。
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
337
收藏
取消收藏
