MongoDB+Hadoop运行环境搭建

php中文网
发布: 2016-06-07 17:56:48
原创
1155人浏览过

首先要下载mongo-hadoop adapter git clone https://github.com/mongodb/mongo-hadoop.git git checkout release-1.0 然后进入mongo-hadoop目录,找到build.sbt将 hadoopRelease in ThisBuild 修改成如下所示: hadoopRelease in ThisBuild := "0.20" 然后运

首先要下载mongo-hadoop adapter


git clone https://github.com/mongodb/mongo-hadoop.git

git checkout release-1.0


然后进入mongo-hadoop目录,找到build.sbt将 hadoopRelease in ThisBuild 修改成如下所示:


hadoopRelease in ThisBuild := "0.20"


然后运行 ./sbt package(关于sbt https://github.com/harrah/xsbt/wiki)

运行时需要翻墙才行。

运行结束之后会再core/target目录下生成一个jar文件mongo-hadoop-core_0.20.205.0-1.0.1.jar,香港服务器,然后下载mongodb的驱动包。


wget --no-check-certificate https://github.com/downloads/mongodb/mongo-java-driver/mongo-2.7.3.jar 下载完之后就可以开始开发mongo-hadoop的程序了。 运行自带示例: 首先将数据导入到mongodb中,美国服务器,命令如下。  ./sbt load-sample-data 然后再eclipe中新建一个项目,例如treasury,香港服务器,将mongo-hadoop/example/treasury_field中的源文件和资源文件复制到新建的项目下。如图所示:

H5自适应企业网站源码1.0.1
H5自适应企业网站源码1.0.1

H5自适应企业网站源码是一套非常优秀的asp自适应企业网站源码,这套源码有很多优秀的功能,也是很多企业网站所不具备的。H5自适应企业网站源码使用asp+access搭建,运行环境要求windows+IIS。网站前台是动态页面,不过网址URL已经做了伪静态处理,URL的格式都是.html结尾,对搜索引擎也比较友好。H5自适应企业网站源码的一个亮点功能就是会员等级制度及权限划分功能,普通会员栏目发布的

H5自适应企业网站源码1.0.1 2
查看详情 H5自适应企业网站源码1.0.1

然后修改mongo-treasury_yield.xml文件中mongodb的url和存放collection



mongo.input.uri
mongodb://127.0.0.1/mongo_hadoop.yield_historical.in



mongo.output.uri
mongodb://127.0.0.1/mongo_hadoop.yield_historical.out

 

然后修改TreasuryYieldXMLConfig.java如下:

Configuration.addDefaultResource( "resources/mongo-treasury_yield.xml");
Configuration.addDefaultResource( "resources/mongo-defaults.xml" );

 

后将项目打包成jar文件。

运行 hadoop jar treasury.jar com.mongodb.hadoop.treasury.TreasuryXMLConfig 即可运行hadoop程序。运行结果如下图:mongodb中的数据。



最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号