PHP调用SHELL上传本地文件到Hadoop的hdfs中
本来是用thrift进行上传，但其上传效率之低，另人发指，只好选用其它方法。
?
立即学习“PHP免费学习笔记（深入）”；
环境：
php 运行环境为nginx + php-fpm
?
立即学习“PHP免费学习笔记（深入）”；
因为hadoop开启了权限控制，所以直接使用php调用shel进行上传时，没有权限。通过php执行命令看来，php运行的帐户和级均为nobody。因此，解决方法有两个：一，在hadoop的shell中创建目录，并把目录的所有者赋给nobody组的nobody用户。二，原来的目录权限放开，使用777。下面详讲操作步骤：
?
立即学习“PHP免费学习笔记（深入）”；
方法一：./hadoop fs -chown -R nobody:nobody /resources
注：/resources是用户目录，需要根据情况改变
?
立即学习“PHP免费学习笔记（深入）”；
方法二：./hadoop fs -chomod -R 777 /resources
注：/resources是用户目录，需要根据情况改变
?
立即学习“PHP免费学习笔记（深入）”；
php调用shell的方式：
public function uploadByShell($local, $hdfs) {
$shell = "sh /usr/local/hadoop/hadoop-0.20.2/bin/hadoop fs -copyFromLocal " . $local ." " . $hdfs;
$shell .= "; sh /usr/local/hadoop/hadoop-0.20.2/bin/hadoop fs -chmod 777 " . $hdfs;
$res = null;
system($shell, $res);
$flag = false;
if ($res == "0") {
$flag = true;
}
return $flag;
}?
立即学习“PHP免费学习笔记（深入）”；
?
立即学习“PHP免费学习笔记（深入）”；
?
立即学习“PHP免费学习笔记（深入）”；
?
立即学习“PHP免费学习笔记（深入）”；
PHP怎么学习？PHP怎么入门？PHP在哪学？PHP怎么学才快？不用担心，这里为大家提供了PHP速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！
广告
收藏
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
977
