0

0

PostgreSQL checkpoint原理

php中文网

php中文网

发布时间:2016-06-07 15:55:03

|

1747人浏览过

|

来源于php中文网

原创

今天来谈一下PostgreSQL 的checkpoint原理。检查点功能在现有流行的数据库中都具备。如Oracle,MySQL等,尤其是Oracle 对检查点功

今天来谈一下postgresql 的checkpoint原理。检查点功能在现有流行的数据库中都具备。如oracle,mysql等,尤其是oracle 对检查点功能的实现,非常完善。oracle不仅有全局检查点,还有增量检查点,即非常著名的 “incremental checkpoint”。虽然各大数据库实现的方式不同,但是主要目的都是一样的,都是为了缩短数据库恢复的时间。那么其实pg也有自己的检查点实现。

1.PG检查点的类型

Shutdown检查点:在PG实例shutdown时做的检查点

Recovery End检查点:在recovery 结束阶段做的检查点,类似于shutdown检查点,只不过在WAL恢复结束时发起。

Immediate检查点:不仅仅创建检查点,而且会马上做。这类请求一般在比较紧急的情况下,需要马上获取数据库一致状态的情况下。

Force检查点:即使没有xlog变更,也会做。请求这类检查点,往往只是想得到最近的checkpoint location而已。

上面几个检查点,会直接影响检查点的创建以及检查点的完成时机。

Wait检查点:检查点不会马上做,但会一直等待,直到检查点完成。

往往比较重要的一些操作,但不是非常紧急的,可以请求该类检查点。尤其是一些DDL操作,对数据一致性要求高于响应时间。

另外,还有一类检查点,这类检查只是作为logging的标识:

xlog检查点:由xlog的消耗引起,产生新xlog文件。

time检查点:由时间elapse引起。

flush检查点:当发起flush 所有pages时发起,包括那些不logging的表。

PG会根据目的以及不同时机,请求相应的检查点。

2.PG检查点的机理

checkpoint进程由postmaster负责创建。作为postmaster的子进程而存在,为几大重要的后台进程之一。

 从下图中,可知postmaster进程号为2694。checkpoint的进程号为2696,其父进程号为2694,即为postmaster。

PostgreSQL checkpoint原理

checkpoint进程挂掉后,postmaster会杀掉所有backend进程,然后逐一恢复后台进程,有点类似于系统被初始化后。可见此进程对数据一致保护的重要性。

因为数据库系统要达到一个目的:即任何已经做过checkpoint的更改,,不需要从WAL日志中恢复。这大大加快了数据库系统crash后的恢复速度。

在源码中,checkpoint相关的信息由一个结构体记录,放在共享内存段中:

PostgreSQL checkpoint原理

它保存了当前checkpoint 的pid,检查点起始位置,检查点完成位置以及检查点类型等信息。另外也维护了一个检查点队列。一般的检查点请求只是创建一个检查点位置,并放到队列中,并不会马上做,检查点调度由另外逻辑来控制。

checkpoint的位点是跟xlog的位置强相关的,其实就是WAL日志的位点。

佳可商务购物程序 2004
佳可商务购物程序 2004

在原版的基础上做了一下修正评论没有提交正文的问题特价商品的调用连接问题去掉了一个后门补了SQL注入补了一个过滤漏洞浮动价不能删除的问题不能够搜索问题收藏时放入购物车时出错点放入购物车弹出2个窗口修正主题添加问题商家注册页导航连接问题销售排行不能显示更多问题热点商品不能显示更多问题增加了服务器探测 增加了空间使用查看 增加了在线文件编辑增加了后台管理里两处全选功能更新说明:后台的部分功能已经改过前台

下载

每当检查完成之时,就必须要求此检查点前的数据更改或者脏页被写入物理磁盘,并持久化。

做检查点时大致可以分为两个过程:

1).遍历所有BUFFER,将当前时刻的所有DIRTY的块状态改为CHECKPOINT_NEEDED,来表示需要将这些脏块写出到磁盘。

注意这一步,还是在内存中完成的,并不涉及到磁盘操作。

2).刷物理文件,从缓存中将脏块fsync到磁盘。

这一步涉及到磁盘操作。将标记为CHECKPOINT_NEEDED的block写出到磁盘。

3).Checkpoint 本身也会被记录到XLOG中

上面讲到的检查点结构体内容以及长度等信息,会被刷出到xlog中。

4).更新控制文件

更新控制文件中的检查点信息到当前位置. 下面粗体部分就是检查点相关内容:

[postgres@db1 ~]$ pg_controldata  /opt/pgdata
 pg_control version number:            937   
 Catalog version number:              201306121
 Database system identifier:          6123041408807693241
 Database cluster state:              shut down         
 pg_control last modified:            Sun 17 May 2015 06:36:25 PM CST
Latest checkpoint location:          1F/9B9B2E20                   
 Prior checkpoint location:            1F/9B9B2DB8                   
 Latest checkpoint's REDO location:    1F/9B9B2E20                   
 Latest checkpoint's REDO WAL file:    000000010000001F0000009B     
 Latest checkpoint's TimeLineID:      1                             
 Latest checkpoint's PrevTimeLineID:  1                             
 Latest checkpoint's full_page_writes: on
 Latest checkpoint's NextXID:          0/15331854
 Latest checkpoint's NextOID:          91378
 Latest checkpoint's NextMultiXactId:  1
 Latest checkpoint's NextMultiOffset:  0
 Latest checkpoint's oldestXID:        1799
 Latest checkpoint's oldestXID's DB:  1
 Latest checkpoint's oldestActiveXID:  0
 Latest checkpoint's oldestMultiXid:  1
 Latest checkpoint's oldestMulti's DB: 1
 Time of latest checkpoint:            Sun 17 May 2015 06:36:25 PM CST
Fake LSN counter for unlogged rels:  0/1
 Minimum recovery ending location:    0/0
 Min recovery ending loc's timeline:  0
 Backup start location:                0/0
 Backup end location:                  0/0
 End-of-backup record required:        no
 Current wal_level setting:            minimal
 Current max_connections setting:      100
 Current max_prepared_xacts setting:  0
 Current max_locks_per_xact setting:  64
 Maximum data alignment:              8
 Database block size:                  8192
 Blocks per segment of large relation: 131072
 WAL block size:                      8192
 Bytes per WAL segment:                16777216
 Maximum length of identifiers:        64
 Maximum columns in an index:          32
 Maximum size of a TOAST chunk:        1996
 Date/time type storage:              64-bit integers
 Float4 argument passing:              by value
 Float8 argument passing:              by value
 Data page checksum version:          0

------------------------------------华丽丽的分割线------------------------------------

CentOS 6.3环境下yum安装PostgreSQL 9.3

PostgreSQL缓存详述

Windows平台编译 PostgreSQL

Ubuntu下LAPP(Linux+Apache+PostgreSQL+PHP)环境的配置与安装

Ubuntu上的phppgAdmin安装及配置

CentOS平台下安装PostgreSQL9.3

PostgreSQL配置Streaming Replication集群

如何在CentOS 7/6.5/6.4 下安装PostgreSQL 9.3 与 phpPgAdmin 

------------------------------------华丽丽的分割线------------------------------------

PostgreSQL 的详细介绍:请点这里
PostgreSQL 的下载地址:请点这里

本文永久更新链接地址

相关专题

更多
Golang gRPC 服务开发与Protobuf实战
Golang gRPC 服务开发与Protobuf实战

本专题系统讲解 Golang 在 gRPC 服务开发中的完整实践,涵盖 Protobuf 定义与代码生成、gRPC 服务端与客户端实现、流式 RPC(Unary/Server/Client/Bidirectional)、错误处理、拦截器、中间件以及与 HTTP/REST 的对接方案。通过实际案例,帮助学习者掌握 使用 Go 构建高性能、强类型、可扩展的 RPC 服务体系,适用于微服务与内部系统通信场景。

8

2026.01.15

公务员递补名单公布时间 公务员递补要求
公务员递补名单公布时间 公务员递补要求

公务员递补名单公布时间不固定,通常在面试前,由招录单位(如国家知识产权局、海关等)发布,依据是原入围考生放弃资格,会按笔试成绩从高到低递补,递补考生需按公告要求限时确认并提交材料,及时参加面试/体检等后续环节。要求核心是按招录单位公告及时响应、提交材料(确认书、资格复审材料)并准时参加面试。

44

2026.01.15

公务员调剂条件 2026调剂公告时间
公务员调剂条件 2026调剂公告时间

(一)符合拟调剂职位所要求的资格条件。 (二)公共科目笔试成绩同时达到拟调剂职位和原报考职位的合格分数线,且考试类别相同。 拟调剂职位设置了专业科目笔试条件的,专业科目笔试成绩还须同时达到合格分数线,且考试类别相同。 (三)未进入原报考职位面试人员名单。

58

2026.01.15

国考成绩查询入口 国考分数公布时间2026
国考成绩查询入口 国考分数公布时间2026

笔试成绩查询入口已开通,考生可登录国家公务员局中央机关及其直属机构2026年度考试录用公务员专题网站http://bm.scs.gov.cn/pp/gkweb/core/web/ui/business/examResult/written_result.html,查询笔试成绩和合格分数线,点击“笔试成绩查询”按钮,凭借身份证及准考证进行查询。

11

2026.01.15

Java 桌面应用开发(JavaFX 实战)
Java 桌面应用开发(JavaFX 实战)

本专题系统讲解 Java 在桌面应用开发领域的实战应用,重点围绕 JavaFX 框架,涵盖界面布局、控件使用、事件处理、FXML、样式美化(CSS)、多线程与UI响应优化,以及桌面应用的打包与发布。通过完整示例项目,帮助学习者掌握 使用 Java 构建现代化、跨平台桌面应用程序的核心能力。

65

2026.01.14

php与html混编教程大全
php与html混编教程大全

本专题整合了php和html混编相关教程,阅读专题下面的文章了解更多详细内容。

36

2026.01.13

PHP 高性能
PHP 高性能

本专题整合了PHP高性能相关教程大全,阅读专题下面的文章了解更多详细内容。

75

2026.01.13

MySQL数据库报错常见问题及解决方法大全
MySQL数据库报错常见问题及解决方法大全

本专题整合了MySQL数据库报错常见问题及解决方法,阅读专题下面的文章了解更多详细内容。

21

2026.01.13

PHP 文件上传
PHP 文件上传

本专题整合了PHP实现文件上传相关教程,阅读专题下面的文章了解更多详细内容。

35

2026.01.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 7.2万人学习

PostgreSQL 手册
PostgreSQL 手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号