0

0

Python ctypes结构体深度复制指南

聖光之護

聖光之護

发布时间:2025-09-25 14:03:01

|

395人浏览过

|

来源于php中文网

原创

Python ctypes结构体深度复制指南

在Python中使用ctypes处理C风格结构体时,若结构体包含指向动态分配数据的指针字段,常规的浅拷贝或copy.deepcopy无法正确复制指针所指向的数据。本教程将详细介绍如何为ctypes.Structure实现一个自定义的深度复制方法,通过from_buffer_copy进行浅拷贝,并针对指针字段手动分配新内存并复制数据,确保复制后的结构体及其所有关联数据完全独立于原结构体。

理解ctypes.Structure与深度复制的挑战

ctypes模块允许python代码与c语言库进行交互,其中ctypes.structure用于定义c语言中的结构体。当一个结构体包含指向其他内存区域的指针(例如ctypes.pointer(ctypes.c_float)),标准的python复制机制(如copy.deepcopy)并不能直接理解并深度复制这些指针所指向的底层c内存数据。

直接尝试使用memmove将数据从一个ctypes.POINTER类型复制到另一个未分配内存的ctypes.POINTER字段,会导致TypeError: invalid type错误,因为POINTER本身只是一个地址,而非实际的数据缓冲区。正确的做法是为复制后的指针字段分配新的内存,然后将原始指针所指向的数据复制到这块新内存中。

实现自定义深度复制方法

为了正确地深度复制一个包含指针字段的ctypes.Structure实例,我们需要一个两阶段的方法:

  1. 对结构体本身进行浅拷贝,以复制所有非指针字段(如c_uint32、c_uint16以及固定大小的数组如c_uint32*9)。
  2. 遍历所有指针字段,为每个指针字段分配新的内存,并将原始指针所指向的数据复制到这块新内存中。

下面以一个名为Group的结构体为例,该结构体包含一个DataChannel指针数组,每个指针指向一个c_float数组,其长度由ChSize数组对应元素决定。

import ctypes as ct

class Group(ct.Structure):
    _fields_ = (('ChSize', ct.c_uint32 * 9),          # 9个通道的尺寸数组
                ('DataChannel', ct.POINTER(ct.c_float) * 9), # 9个指向浮点数数组的指针
                ('TriggerTimeLag', ct.c_uint32),      # 触发时间延迟
                ('StartIndexCell', ct.c_uint16))     # 起始索引单元

    def __repr__(self):
        """
        为Group对象提供一个可读的字符串表示,便于调试。
        它会显示所有字段的值,并特别地展示DataChannel指针所指向的数据内容。
        """
        s = f'Group(ChSize={self.ChSize[:]}, TriggerTimeLag={self.TriggerTimeLag}, StartIndexCell={self.StartIndexCell})\n'
        for i in range(9):
            # 仅显示ChSize指定长度的数据
            s += f'  DataChannel[{i}] = {self.DataChannel[i][:self.ChSize[i]]}\n'
        return s

    def deepcopy(self):
        """
        实现Group结构体的深度复制。
        """
        # 1. 创建结构体本身的浅拷贝
        # from_buffer_copy 会复制结构体所有直接包含的值类型字段和固定大小数组。
        # 此时,copy.DataChannel 中的指针仍然指向原始 group 的数据。
        copy = Group.from_buffer_copy(self)

        # 2. 遍历指针字段并进行深度复制
        for i, (size, channel) in enumerate(zip(self.ChSize, self.DataChannel)):
            if channel: # 确保指针不为空
                # 为当前通道的数据创建一个新的C数组缓冲区
                # (*channel[:size]) 将原始指针指向的数据解引用并复制到新数组中
                data = (ct.c_float * size)(*channel[:size])

                # 将新创建的缓冲区转换为POINTER类型,并存储到副本的DataChannel字段中
                # 这确保了副本的指针指向独立的新内存区域
                copy.DataChannel[i] = ct.cast(data, ct.POINTER(ct.c_float))
            else:
                copy.DataChannel[i] = None # 如果原始指针为空,副本也设置为空

        return copy

关键点解析:

  • Group.from_buffer_copy(self): 这是实现深度复制的第一步。它会创建一个新的Group实例,并将原始实例的内存内容(包括所有值类型字段和固定大小的数组)按字节复制过来。对于POINTER类型的字段,它只会复制指针的地址值,因此此时副本的指针仍指向原始数据。
  • data = (ct.c_float * size)(*channel[:size]): 这是深度复制指针所指向数据的核心。
    • ct.c_float * size:创建一个新的C风格浮点数数组类型,其大小为size。
    • (*channel[:size]):这会解引用原始channel指针,并从其指向的内存中读取size个浮点数。*操作符将这些浮点数作为单独的参数传递给新数组的构造函数,从而完成数据的复制。
  • copy.DataChannel[i] = ct.cast(data, ct.POINTER(ct.c_float)): ct.cast用于将一个ctypes对象(这里是新创建的data数组)转换为指定的ctypes类型(这里是ct.POINTER(ct.c_float))。这样,副本的DataChannel[i]现在指向了新分配且独立于原始数据的新内存区域。

验证深度复制功能

为了验证deepcopy方法是否按预期工作,我们可以创建一个Group实例,对其进行初始化,然后进行深度复制。接着,修改原始Group实例的数据,并观察副本是否保持不变。

Magic Write
Magic Write

Canva旗下AI文案生成器

下载

立即学习Python免费学习笔记(深入)”;

# 1. 创建、初始化并显示原始Group对象
group = Group()
group.ChSize[:] = [1, 2, 3, 4, 5, 6, 7, 8, 9] # 设置每个通道的数据长度

for i, size in enumerate(group.ChSize):
    # 为每个通道动态分配数据并填充
    data = (ct.c_float * size)(*[1.5 * n for n in range(size)])
    group.DataChannel[i] = ct.cast(data, ct.POINTER(ct.c_float))

group.TriggerTimeLag = 123
group.StartIndexCell = 456
print("--- 原始 Group 对象 ---")
print(group)

# 2. 进行深度复制
copy = group.deepcopy()

# 3. 修改原始Group对象的通道数据,将其全部清零
# 注意:这里不仅将ChSize设为0,还将DataChannel指针设为None,
# 模拟原始数据被释放或修改的情况。
group.ChSize[:] = [0] * 9
group.DataChannel[:] = [None] * 9

print("\n--- 修改后的原始 Group 对象 ---")
print(group)

# 4. 显示副本Group对象,验证其数据是否未受原始对象修改的影响
print("\n--- 深度复制的副本 Group 对象 ---")
print(copy)

预期输出:

通过运行上述代码,您将看到:

  1. 原始Group对象在复制前显示其完整的初始化数据。
  2. 修改后的原始Group对象显示其ChSize和DataChannel均被清零。
  3. 深度复制的副本Group对象仍然显示与原始对象复制前完全相同的数据,证明了深度复制的成功,副本的数据是完全独立的。
--- 原始 Group 对象 ---
Group(ChSize=[1, 2, 3, 4, 5, 6, 7, 8, 9], TriggerTimeLag=123, StartIndexCell=456)
  DataChannel[0] = [0.0]
  DataChannel[1] = [0.0, 1.5]
  DataChannel[2] = [0.0, 1.5, 3.0]
  DataChannel[3] = [0.0, 1.5, 3.0, 4.5]
  DataChannel[4] = [0.0, 1.5, 3.0, 4.5, 6.0]
  DataChannel[5] = [0.0, 1.5, 3.0, 4.5, 6.0, 7.5]
  DataChannel[6] = [0.0, 1.5, 3.0, 4.5, 6.0, 7.5, 9.0]
  DataChannel[7] = [0.0, 1.5, 3.0, 4.5, 6.0, 7.5, 9.0, 10.5]
  DataChannel[8] = [0.0, 1.5, 3.0, 4.5, 6.0, 7.5, 9.0, 10.5, 12.0]

--- 修改后的原始 Group 对象 ---
Group(ChSize=[0, 0, 0, 0, 0, 0, 0, 0, 0], TriggerTimeLag=123, StartIndexCell=456)
  DataChannel[0] = []
  DataChannel[1] = []
  DataChannel[2] = []
  DataChannel[3] = []
  DataChannel[4] = []
  DataChannel[5] = []
  DataChannel[6] = []
  DataChannel[7] = []
  DataChannel[8] = []

--- 深度复制的副本 Group 对象 ---
Group(ChSize=[1, 2, 3, 4, 5, 6, 7, 8, 9], TriggerTimeLag=123, StartIndexCell=456)
  DataChannel[0] = [0.0]
  DataChannel[1] = [0.0, 1.5]
  DataChannel[2] = [0.0, 1.5, 3.0]
  DataChannel[3] = [0.0, 1.5, 3.0, 4.5]
  DataChannel[4] = [0.0, 1.5, 3.0, 4.5, 6.0]
  DataChannel[5] = [0.0, 1.5, 3.0, 4.5, 6.0, 7.5]
  DataChannel[6] = [0.0, 1.5, 3.0, 4.5, 6.0, 7.5, 9.0]
  DataChannel[7] = [0.0, 1.5, 3.0, 4.5, 6.0, 7.5, 9.0, 10.5]
  DataChannel[8] = [0.0, 1.5, 3.0, 4.5, 6.0, 7.5, 9.0, 10.5, 12.0]

注意事项与总结

  • 内存管理: 在上述deepcopy实现中,新创建的data数组(例如(ct.c_float * size))是Python ctypes对象。只要这个Python对象存在,其底层的C内存就会被ctypes管理。当copy对象被垃圾回收时,其内部的data数组也会被回收,从而避免内存泄漏。
  • 指针的有效性: 这种方法假设ChSize数组中的值准确地表示了DataChannel对应指针所指向数据的实际长度。如果ChSize不准确,可能会导致读取越界或复制不完整。
  • 多级指针: 如果结构体中包含多级指针(例如POINTER(POINTER(c_int))),则需要递归地应用类似的深度复制逻辑。
  • 性能: 对于包含大量或非常大的动态数据块的结构体,手动深度复制可能会有性能开销。在某些对性能要求极高的场景下,可能需要考虑在C层实现复制逻辑并通过ctypes调用。

总之,当ctypes.Structure包含指向动态分配内存的指针字段时,必须通过自定义的深度复制方法来确保副本及其所有关联数据完全独立于原始对象。这通常涉及先对结构体本身进行浅拷贝,然后对所有指针字段手动分配新内存并复制数据。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

759

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

639

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

761

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

618

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1265

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

548

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

579

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

709

2023.08.11

高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

43

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 12.2万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 2.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号