Hadoop Pig Stream Ship

php中文网
发布: 2016-06-07 16:28:11
原创
1261人浏览过

hadoop pig stream pig 中的 stream 非常用用,一般是先用 perl, python, php, shell 对日志生成符合pig的数据格式后,再 用pig 来处理 在脚本中,如果要加载一个文件做为依赖文件, 就可以用 ship 这一选项 DEFINE CMD `ac_mapper.php` ship('/proxy/step/a

hadoop pig stream
pig 中的 stream 非常用用,一般是先用 perl, python, php, shell 对日志生成符合pig的数据格式后,再 用pig 来处理

在脚本中,如果要加载一个文件做为依赖文件, 就可以用 ship 这一选项

    DEFINE CMD `ac_mapper.php` ship('/proxy/step/ac_mapper.php', '/data/$mday/merge.lst');
    rawLog = load '$input' as (line);   
    schemeData = stream rawLog through CMD as (platForm, userKey, reqType, catId);
登录后复制

$mday, $input 都是参数, ship 从这个英文单词可以看出来,是用来装般的,把要用的东西都装上般

第一个ac_mapper.php不能用绝对路径,在ship中申请ac_mapper.php中的绝对路径,告诉 pig 从哪里去取文件

装上船后,就可以用了,如在 ac_mapper.php中读取 merge.lst文件

    function readmacid(){
        $handle = @fopen("merge.lst", "r");
        $index = 1;
        if ($handle) {
            while (($buffer = fgets($handle, 4096)) !== false) {
                    list($platform,$mac, $ukey) = explode("\t",trim($buffer));
                    if(!empty($mac)){
                            $GLOBALS['mac2id'][$mac] = $index; 
                    }
                    if(!empty($ukey)){
                            $GLOBALS['ukey2id'][$ukey] = $index; 
                    }
                    $index++;
        }
        if (!feof($handle)) {
                    echo "Error: unexpected fgets() fail\n";
                    exit();
            }
            fclose($handle);
        }
    }
登录后复制

@fopen("merge.lst","r")这样就可以读取 merge.lst的文件了,因为 装船后,会把这些文件放在一个 workspace 中

这个功能让我想起了前东西的一个 Dquery 系统,里面可以加载 依赖文件

http://pig.apache.org/docs/r0.7.0/piglatin_ref2.html#UDF+Statements
http://ofps.oreilly.com/titles/9781449302641/advanced_pig_latin.html
http://wiki.apache.org/pig/PigStreamingFunctionalSpec

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号