php读取一个20G文件的最后10行-php手册-PHP中文网

php读取一个20G文件的最后10行

php中文网

发布： 2016-06-06 20:12:22

原创

1357人浏览过

今天有同事在群里提问：如何读取一个20g的文件的最后10行。也就是说文件大小超过php内存限制。今天尝试了一下，找到两种方式来完成这个任务。 1.调用系统命令tail -n 10 filename $ph = popen('tail -n 10 bigfile.txt','r');while($r = fgets($ph)){echo $

今天有同事在群里提问：如何读取一个20g的文件的最后10行。也就是说文件大小超过php内存限制。

今天尝试了一下，找到两种方式来完成这个任务。

1.调用系统命令tail -n 10 filename

$ph = popen('tail -n 10 bigfile.txt','r');
while($r = fgets($ph)){
echo $r;
}
pclose($ph);

登录后复制

当然调用系统命令的方式不止这一种，更多方法请参考http://blog.51yip.com/php/1064.html

2.第二种通过文件指针，每次读一行放到一个数组里面，超过10行，把最前面的一行删掉，知道读完整个文件

移动端无限滚动加载瀑布流

里面有2个文件夹。其中这个文件名是:finishing，是我项目还没有请求后台的数据的模拟写法。请求后台数据之后，瀑布流的js有一点点变化，放在文件名是：finished。变化在于需要穿参数到后台，和填充的内容都用后台的数据填充。看自己项目需求来。由于chrome模拟器是不允许读取本地文件json的，所以如果你要进行测试，在hbuilder打开项目就可以看到效果啦，或者是火狐浏览器。

查看详情

立即学习“PHP免费学习笔记（深入）”；

$fh = fopen('bigfile.txt','r');
$r = array();
while($l = fgets($fh)){
array_push($r,$l);
if(count($r)>10){
array_shift($r);
}
file_put_contents('memory.txt',memory_get_usage());
}
var_dump($r);

登录后复制

昨天一直在想，要是能找个移动文件指针的函数就好了，但是找了半个小时没找到。今天同事告诉我php的确有这样一个函数fseek，只不过是按字符移动而不是按行移动的。看了下手册，下面的评论中已经直接给出实现方案了.代码的实现和我起初的构想基本类似，包括一次性移动多个字符，然后计算剩余内容里面换行符的个数。

function tail($file, $num_to_get=10)
{
$fp = fopen($file, 'r');
$position = filesize($file);
fseek($fp, $position-1);
$chunklen = 4096;
while($position >= 0)
{
$position = $position - $chunklen;
if ($position < 0) { $chunklen = abs($position); $position=0;}
fseek($fp, $position);
$data = fread($fp, $chunklen). $data;
if (substr_count($data, "\n") >= $num_to_get + 1)
{
preg_match("!(.*?\n){".($num_to_get-1)."}$!", $data, $match);
return $match[0];
}
}
fclose($fp);
return $data;
}

登录后复制

附上我生存这个大文件的方法

$s = '';
for($i =0;$i<10000;$i++){
$s = '';
for($j = 0;$j<1000;$j++){
$s .=rand(10000000,10000000);
}
file_put_contents('source.txt',$s."\n",FILE_APPEND);
file_put_contents('memory.txt',memory_get_usage());
}
$source =file_get_contents('source.txt');
for($i=0;$i<100;$i++){
file_put_contents('bigfile.txt',$source,FILE_APPEND);
file_put_contents('memory.txt',memory_get_usage());
file_put_contents('memory.txt',$i);
}
for($i = 0;$i<11;$i++){
file_put_contents('bigfile.txt',$i."---------------------------------\n",FILE_APPEND);
}

登录后复制

原文地址：php读取一个20G文件的最后10行, 感谢原作者分享。