php使用mysql_query查询超大结果集超内存的解决方法

php中文网
发布: 2016-06-23 13:14:29
原创
1090人浏览过

再使用mysql_query查询超大结果集的时候会出现超出内存限制的致命错误,这是因为mysql_query采用的是查询全部结果然后把结果集全部缓存到内存中的方式。

mysql的查询还提供了另外一种查询方式,函数名为mysql_unbuffered_query,这个函数采用的是查出结果后立即操作结果集,并不会把结果集缓存到内存中,这样就避免了超出内存的情况发生。但是使用这个方法的代价就是不能再查询的时候使用获取总行之类的方法,因为这种方法是便查询边返回结果。同时在使用该方法的时候不能在同一数据库链接上执行其他的操作,想要执行其他操作的时候必须先终止当前操作,释放所有未缓存的sql查询所产生的结果行,或者重新实例化一个数据库连接,使用新链接进行其他操作。

以下是使用缓存和不使用缓存的对比(所查询的表中有1000多万行数据):

function selecttest()    {        try {            $pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');//            不使用缓存结果集方式//            $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);            $sth = $pdo->prepare('select * from test');            $sth->execute();            echo '最初占用内存大小:' . memory_get_usage() . "\n";            $i = 0;            while ($result = $sth->fetch(PDO::FETCH_ASSOC)) {                $i += 1;                if ($i > 10) {                    break;                }                sleep(1);                print_r($result);                echo '占用内存大小:' . memory_get_usage() . "\n";            }        } catch (Exception $e) {            echo $e->getMessage();        }    }
登录后复制

上面使用到的是缓存所有结果集的方式,运行该函数时将会报超内存的错误,如下所示:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 57Call Stack:    0.0005     135392   1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0    0.0005     135568   2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:86    0.0055     142528   3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:57
登录后复制

在执行$sth->execute();时超出内存限制;

立即学习PHP免费学习笔记(深入)”;

超能文献
超能文献

超能文献是一款革命性的AI驱动医学文献搜索引擎。

超能文献 14
查看详情 超能文献

 

将// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);这行的注释去掉后将使用不缓存结果集的方式,运行该函数将输出以下内容:

最初占用内存大小:144808Array(    [id] => 1    [a] => v    [b] => w    [c] => i)占用内存大小:145544Array(    [id] => 2    [a] => b    [b] => l    [c] => q)占用内存大小:145544Array(    [id] => 3    [a] => m    [b] => p    [c] => h)占用内存大小:145536Array(    [id] => 4    [a] => j    [b] => i    [c] => b)占用内存大小:145536Array(    [id] => 5    [a] => q    [b] => g    [c] => g)占用内存大小:145536
登录后复制

可以看到,使用不缓存结果集的方式获取一行结果所占用的内存是极少的。这样就结局了超出内存限制的问题。

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号