ChukWa入门1

php中文网
发布: 2016-06-07 16:26:12
原创
1906人浏览过

Chukwa 是什么? 在印度神话中Chukwa是一只最古老的龟。它支撑着世界。在它的背上还支撑着一种叫做Maha-Pudma的大象,在大象的背上顶着这个地球。呵呵,大象?Hadoop?不难理解为什么在Hadoop中的这个子项目叫做Chukwa了,或许Chukwa的其中一位开发者是印度

Chukwa 是什么?
  在印度神话中Chukwa是一只最古老的龟。它支撑着世界。在它的背上还支撑着一种叫做Maha-Pudma的大象,在大象的背上顶着这个地球。呵呵,大象?Hadoop?不难理解为什么在Hadoop中的这个子项目叫做Chukwa了,或许Chukwa的其中一位开发者是印度人?呵呵,我瞎猜的,神话中的Chukwa的,貌似是这样的,如图所示:
http://niaklq.bay.livefilestore.com/y1p8eCdLVS25INTbYWaYUDSFwSt9hfpEVCXZHlIASw-wozM_bC7Z5Jpfnxwxr8siBG5WrW8iPPoqbr6Sywc3ueCZHUoM68BZ87v/indiaplant.jpg?psid=1

 chukwa是由yahoo贡献,基于hadoop的大集群监控系统,可以用他来分析和收集系统中的数据(日志)。chukwa运行hdfs中存储数据的收集器和mapreduce框架之上,并继承了hadoop的可扩展性和鲁棒性, chukwa使用mapreduce来生成报告,他还包括一个用于监测和分析结果显示的web-portal工具,通过web-portal工具使这个收集数据的更佳具有灵活性,这点有点像是类似 linux工具,例如:awk 。这几乎是一个日志处理/分析的full stack solution,国内用hadoop做日志分析的,或者将要做日志分析的可以关注下。

   搭建、运行Chukwa要在Linux环境下,要安装MySQL数据库,在Chukwa/conf目录 中有2个SQL脚本 aggregator.sql、database_create_tables.sq l 导入MySQL数据库,此外还要有Hadoo的HDSF运行环境,Chukwa的整个系统架构如图所示:
 
http://niaklq.bay.livefilestore.com/y1p58UGaCioDWZCD5T_To2jnjZccitA-9LbtNNmA5rSLRS8kxHu8D4ikTZomNGryONjCvI9YzM2Zw-Z1f9bd_o2D7hQeuh3nKqd/components.gif?psid=1
 

Chukwa 由哪几个组件组成的? 
    Chukwa是Yahoo开发的Hadoop之上的数据采集/分析框架,主要用于日志采集/分析。该框架提供了采集数据的Agent,由Agent采集数据通过HTTP发送数据给Cluster的Collector,collector把数据sink进Hadoop,然后通过定期运行Map reducer来分析数据,将结果呈现给用户。
Chukwa 有以下4个主要的组成部分:
    Agent 收集各服务器的数据
    Collectors 接收agent的数据;并写进存储
    MapReduce jobs  归档数据
    HICC 就是 Hadoop Infrastructure Care Center的四个英文单词的缩写,简单来说是个Web工程用于ChukWa的内容展示。 

几个部件大致的处理流程如下:

某个性淘客站整站打包
某个性淘客站整站打包

1、演示:以截图为准 2、安装说明: 1,运行 你的域名/install/index.php填写相关信息进行安装, 2,安装后运行 你的域名/dede进入后台--系统--数据备份/还原---点击右上数据还原---开始还原数据 3, 系统--系统基本设置--站点设置--域名改为你的域名(否则显示不正常) 这一步很重要 更新主页HTML 更新栏目HTML 更新文档HT

某个性淘客站整站打包 0
查看详情 某个性淘客站整站打包

http://niaklq.bay.livefilestore.com/y1p58UGaCioDWZ9dX9OL6lD2qMfPo9GuJcEHC14HRWP6DdXs4tRU_bUS58ZdMaMgGVwP9QCP0US17Av4hTQmMOpxnZt9vjhMTBC/datapipeline.png?psid=1
在这个Blog中后续会对ChukWa有进一步的描述,再次感谢你的阅读。

–end–

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号