clevercode发现在mysql有分页丢失数据的问题。如下面的代码,system_user表有400万行数据,这时候需要把这张表里面的所有的userid取出来。这时候只能分页取,一次取2万。
//系统用户表(400万行的数据)
$systemUserTable = new systemUserTable();
// 每次取20000
$pageSize = 20000;
for($curPage = 1;; $curPage++) {
$sql = "select userid from system_user order by userid asc limit " . (($curPage - 1) * $pageSize) . ","
. $pageSize;
//取数据
$rows = $systemUserTable->fetchAll($sql);
// 没有数据了,结束
if (empty($rows)) {
break;
}
// 遍历数据
foreach ( $rows as $key => $val ) {
$userid = $val['userid'];
echo $userid."\r\n";
}
}1)假如system_user只有10行数据(u1,u2,u3,u4,u5,u6,u7,u8,u9,u10)。
2) 这时候每次取5行。分2两次取。
3)正常情况第一页取(u1,u2,u3,u4,u5),正常情况第二页取(u6,u7,u8,u9,u10)。
4)如果在第一页去完,第二页取之前的时间间隙里面。u2,u3被删除了。
5)那么第二页取的时候。数据变成了(u1,u4,u5,u6,u7,u8,u9,u10)。
6)那么取出来第二页的数据就变成了(u8,u9,u10)。
7)u6,u7被丢失了。
每次取的时候where带着最大偏移量。如下面的代码。
LANUX V1.0 蓝脑商务网站系统 适用于网店、公司宣传自己的品牌和产品。 系统在代码、页面方面设计简约,浏览和后台管理操作效率高。 此版本带可见即可得的html编辑器, 方便直观添加和编辑要发布的内容。 安装: 1.解压后,更换logo、分类名称、幻灯片的图片及名称和链接、联系我们等等页面。 2.将dbconfig.php里面的数据库配置更改为你的mysql数据库配置 3.将整个文件夹上传至
0
$systemUserTable = new systemUserTable();
// 每次取20000
$pageSize = 20000;
// 每页最大编号
$pageMaxId = 0;
while ( 1 ) {
$sql = "select userid from system_user where userid > ${pageMaxId} order by userid asc limit " . $pageSize;
//取数据
$rows = $fyHouse->fetchAll($sql);
// 没有数据,结束
if (empty($rows)) {
break;
}
// 遍历数据
foreach ( $rows as $key => $val ) {
$userid = $val['userid'];
// 记录当前最大分页编号
if ($userid > $pageMaxId) {
$pageMaxId = $userid;
}
echo $userid."\r\n";
}
}
过程分析:
1)system_user只有10行数据(u1,u2,u3,u4,u5,u6,u7,u8,u9,u10)。
2) 第一次取,最大偏移量0,limit 5;则取出(u1,u2,u3,u4,u5)。记录最大的偏移量u5的值。
4)如果在第一页去完,第二页取之前的时间间隙里面。u2,u3被删除了。
5)那么第二页取的时候。数据变成了(u1,u4,u5,u6,u7,u8,u9,u10)。
3)第二次取,最大偏移量u5,limit 5;则取出(u6,u7,u8,u9,u10)。记录最大的偏移量u10的值。
以上就是mysql分页丢数据的分析_MySQL的内容,更多相关内容请关注PHP中文网(www.php.cn)!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号