0

0

SQL数据库并行扫描实现_多线程读取数据页

舞夢輝影

舞夢輝影

发布时间:2026-01-08 19:37:28

|

879人浏览过

|

来源于php中文网

原创

SQL数据库并行扫描由引擎在执行计划阶段自动启用,按逻辑分区分配给多工作线程协同处理,应用层不应也不需手动多线程读取数据页;关键影响因素包括统计信息准确度、Cost Threshold for Parallelism、MAXDOP设置、资源压力及查询结构限制。

sql数据库并行扫描实现_多线程读取数据页

SQL数据库的并行扫描并非由应用层多线程直接读取数据页实现,而是由数据库引擎在执行计划阶段主动启用并行操作,底层协调线程、内存、锁和I/O资源,应用通常不(也不应)手动控制“多线程读数据页”这一细节。

并行扫描的本质是查询级并行,不是应用层线程控制

数据库(如SQL Server、PostgreSQL、Oracle)在优化器生成执行计划时,若判断某扫描操作(如大表全表扫描、大范围索引扫描)收益大于并行开销,会自动拆分工作:将数据页按逻辑分区(如按页ID范围、分区表子集或均衡行数估算),分配给多个工作线程协同处理。这些线程由数据库后台调度,共享缓冲池、持有各自的本地执行上下文,不暴露“读哪几个页”给外部。

你无法也不该在应用中启动多个线程,各自连接、各自发SELECT * FROM t WHERE ...去“抢读不同数据页”——这会导致重复、遗漏、阻塞甚至损坏一致性。

影响并行扫描是否触发的关键因素

  • 统计信息准确度:优化器依赖行数、页数、数据分布估算成本;过期统计可能抑制并行
  • Cost Threshold for Parallelism(CTFP):SQL Server默认5;若预估开销低于该值,即使有资源也不启用并行
  • MAXDOP设置:服务器/数据库/查询级限制最大并行度;设为1即强制串行
  • 内存与CPU压力:并行操作需额外内存(如排序、哈希建表缓冲区);系统内存不足或CPU饱和时可能降级为串行
  • 查询结构限制:含某些操作符(如TOP、FOR XML、非确定性函数、某些子查询)可能禁用并行

如何观察和引导并行扫描

执行查询时查看实际执行计划(SSMS中按 Ctrl+M 或使用SET STATISTICS XML ON),确认是否有Parallelism (Gather Streams)Table ScanIndex Scan图标带双箭头;右键节点看“Actual Number of Rows”和“Number of Executions”是否大于1。

Ink For All
Ink For All

AI写作和营销助手,精心设计的 UI

下载

必要时可显式提示(谨慎使用):

  • SQL Server:OPTION (QUERYTRACEON 8649)(启用隐藏并行阈值)、OPTION (MAXDOP 4)
  • PostgreSQL:SET max_parallel_workers_per_gather = 4;(会话级)
  • 避免用WITH (NOLOCK)等提示试图“加速扫描”——它不启用并行,只绕过锁,还带来脏读风险

替代思路:应用层合理分片读取(仅限只读场景)

若业务确需并发消费大量数据(如ETL抽取),且表支持逻辑切分,可考虑应用层协作,但必须满足前提:

  • 表有单调递增主键或时间字段(如idcreated_at
  • 数据写入不再修改历史分区(即切分点稳定)
  • 各线程执行互斥范围查询,例如:
    线程1:SELECT * FROM orders WHERE id BETWEEN 1 AND 1000000
    线程2:SELECT * FROM orders WHERE id BETWEEN 1000001 AND 2000000
  • 配合ORDER BY idOFFSET / FETCH或游标方式避免幻读,而非依赖页号

这种方式本质是应用层分页拉取,与数据库内部并行扫描无关,但更可控、可监控、易重试。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

676

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

320

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

346

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1094

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

357

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

675

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

571

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

414

2024.04.29

c++主流开发框架汇总
c++主流开发框架汇总

本专题整合了c++开发框架推荐,阅读专题下面的文章了解更多详细内容。

24

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
SQL 教程
SQL 教程

共61课时 | 3.4万人学习

Java 教程
Java 教程

共578课时 | 44.3万人学习

oracle知识库
oracle知识库

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号