如何优化文件写入速度-php教程-PHP中文网

如何优化文件写入速度

php中文网

发布： 2016-10-11 14:23:44

原创

1838人浏览过

如何优化文件写入速度，根据计算的分库分表,每次文件写入的位置都不同，如果有100w条数据，这样的文件io是拖慢程序速度
看代码，求大神给优化意见

<code>$inputfile = "logs.txt";//输入日志文件，每字段以\t分隔，每行以\n结尾
$fp = fopen($inputfile,'r');
if(!is_resource($fp)){
    echo "打开文件".$inputfile."失败，分析日志程序终止";
    exit(1);
}
while(!feof($fp)){
    $row = fgets($fp,4096);
    str_replace(array("\r","\n"),array("",""),$row);//去除行中的换行符
    if($row == ''){
        continue;
    }
    $arrRec = explode("\t",$row);//将一行字符串以\t分隔为数组
    $accountid = $arrRec[6];//账户id
    //下面由文字说明
    /**
     * 根据一行中的$accountid,调用底层函数算出分库分表位置
     * 例如分库为groupid = 5
     * 分表名为table_0001
     */
    $groupid = 5;
    $tableid = "table_0001";
    //在此处拼接要写入的文件路径
    $outputfile = "tmp/".$groupid."/".$tableid;//这个值每读一行数据，根据accountid计算的的结果都会变

    $content = "\t".$arrRec[0]."\t".$accountid."\t".$groupid."\n";//拼接要写入文件的内容
    if(file_put_contents($outputfile,$content,FILE_APPEND))
    {
        $success++;
        $content = '';
    }
    else
    {
        $failure++;
    }
}
fclose($fp);</code>

登录后复制

每次只能写入一条数据，100w条大约要30分钟，速度很慢，如何优化;经测试，如果目标文件路径不变，将全部要写入的内容拼接为一个长字符串，然后在while循环结束后面调用一次file_put_contents函数，一次性将全部内容写入文件速度回快很多;但现在遇到的问题是每次写入的目标路径都会改变，求优化意见

知网AI智能写作

知网AI智能写作，写文档、写报告如此简单

查看详情

回复内容：

如何优化文件写入速度，根据计算的分库分表,每次文件写入的位置都不同，如果有100w条数据，这样的文件io是拖慢程序速度
看代码，求大神给优化意见

<code>$inputfile = "logs.txt";//输入日志文件，每字段以\t分隔，每行以\n结尾
$fp = fopen($inputfile,'r');
if(!is_resource($fp)){
    echo "打开文件".$inputfile."失败，分析日志程序终止";
    exit(1);
}
while(!feof($fp)){
    $row = fgets($fp,4096);
    str_replace(array("\r","\n"),array("",""),$row);//去除行中的换行符
    if($row == ''){
        continue;
    }
    $arrRec = explode("\t",$row);//将一行字符串以\t分隔为数组
    $accountid = $arrRec[6];//账户id
    //下面由文字说明
    /**
     * 根据一行中的$accountid,调用底层函数算出分库分表位置
     * 例如分库为groupid = 5
     * 分表名为table_0001
     */
    $groupid = 5;
    $tableid = "table_0001";
    //在此处拼接要写入的文件路径
    $outputfile = "tmp/".$groupid."/".$tableid;//这个值每读一行数据，根据accountid计算的的结果都会变

    $content = "\t".$arrRec[0]."\t".$accountid."\t".$groupid."\n";//拼接要写入文件的内容
    if(file_put_contents($outputfile,$content,FILE_APPEND))
    {
        $success++;
        $content = '';
    }
    else
    {
        $failure++;
    }
}
fclose($fp);</code>

登录后复制

文件写入速度基本上和程序没太大关系。。瓶颈都在于硬件性能上。。

换SSD固态硬盘吧