
在使用numpy数组时,若为数组指定了不合适的`dtype`(数据类型),尤其是范围过小的整数类型如`np.uint8`,可能导致超出该类型表示范围的数值发生溢出,从而在数组赋值后出现意外的“数据改变”。本文将深入探讨numpy数据类型溢出的原理,并通过实例代码展示如何避免这一常见陷阱,确保数据完整性。
在Python的数据科学生态中,NumPy库以其高效的数值计算能力而广受欢迎。然而,初学者在使用NumPy数组时,有时会遇到一个令人困惑的问题:当将一个数组的值赋给另一个新创建的数组时,新数组中的数据却与预期不符,甚至出现完全不同的数值。这并非NumPy的“bug”,而是对数据类型(dtype)理解不足导致的数据溢出问题。
NumPy数组在创建时,会为其中存储的元素指定一个数据类型,例如np.int8、np.uint8、np.int32、np.float64等。每种数据类型都有其特定的取值范围。当试图将一个超出该类型表示范围的数值存储进去时,就会发生数据溢出(overflow),导致数值被截断或“环绕”(wrap around),从而得到一个看似错误的结果。
以np.uint8为例,它代表无符号8位整数(unsigned 8-bit integer)。这意味着它只能存储0到255之间的整数值。任何小于0或大于255的数值在被强制转换为np.uint8时,都会发生溢出。例如:
我们可以使用np.iinfo函数来查看整数数据类型的详细信息,包括其最小值和最大值:
import numpy as np # 查看 np.uint8 的信息 print(np.iinfo(np.uint8)) # 输出: iinfo(min=0, max=255, dtype=uint8) # 查看 np.int32 的信息 print(np.iinfo(np.int32)) # 输出: iinfo(min=-2147483648, max=2147483647, dtype=int32)
考虑以下场景,一个函数旨在对三维NumPy数组进行重新排序:
import numpy as np
def reorder_problematic(points):
# 将输入数组重塑为 (4, 2)
points = points.reshape((4, 2))
# 创建空的输出数组,指定 dtype 为 np.uint8
# 这里的 dtype 是问题的关键
points_new = np.zeros((4, 1, 2), np.uint8)
# 根据和与差进行排序逻辑
add = points.sum(1)
diff = np.diff(points, axis=1)
points_new[0] = points[np.argmin(add)]
points_new[3] = points[np.argmax(add)]
points_new[1] = points[np.argmin(diff)]
points_new[2] = points[np.argmax(diff)]
return points_new
# 示例输入数据
input_data = np.array([[[ 573, 148]], [[ 25, 223]], [[ 153, 1023]], [[ 730, 863]]])
output_data = reorder_problematic(input_data)
print("原始输入数据:\n", input_data)
print("使用 problematic 函数的输出数据:\n", output_data)运行上述代码,会得到如下输出:
原始输入数据: [[[ 573 148]] [[ 25 223]] [[ 153 1023]] [[ 730 863]]] 使用 problematic 函数的输出数据: [[[ 25 223]] [[ 61 148]] [[153 255]] [[218 95]]]
可以看到,output_data中的数值与input_data完全不同。例如,573变成了61,1023变成了255。这正是由于points_new数组被声明为np.uint8类型,而input_data中的许多数值(如573, 1023, 730, 863)都超出了np.uint8的取值范围(0-255),导致在赋值时发生了溢出。
为了进一步验证,我们可以尝试将原始输入数据直接转换为np.uint8类型:
# 显式将输入数据转换为 np.uint8
test_cast = np.array([[[573, 148]],
[[25, 223]],
[[153, 1023]],
[[730, 863]]],
dtype=np.uint8)
print("输入数据强制转换为 np.uint8 后的结果:\n", test_cast)输出结果与reorder_problematic函数的输出高度吻合:
输入数据强制转换为 np.uint8 后的结果: [[[ 61 148]] [[ 25 223]] [[153 255]] [[218 95]]]
在原问题中,作者还提供了一个基于Python列表的重写版本,它似乎“修复”了这个问题:
def reorder_by_lst(points):
points = points.reshape((4, 2))
add = points.sum(1)
diff = np.diff(points, axis=1)
a = points[np.argmin(add)]
d = points[np.argmax(add)]
b = points[np.argmin(diff)]
c = points[np.argmax(diff)]
lst = [a, b, c, d]
# 这里将列表转换为 NumPy 数组,但没有指定 dtype
return np.array(lst)
output_data_lst = reorder_by_lst(input_data)
print("使用 list 函数的输出数据:\n", output_data_lst)输出结果:
Delphi 7应用编程150例 CHM全书内容下载,全书主要通过150个实例,全面、深入地介绍了用Delphi 7开发应用程序的常用方法和技巧,主要讲解了用Delphi 7进行界面效果处理、图像处理、图形与多媒体开发、系统功能控制、文件处理、网络与数据库开发,以及组件应用等内容。这些实例简单实用、典型性强、功能突出,很多实例使用的技术稍加扩展可以解决同类问题。使用本书最好的方法是通过学习掌握实例中的技术或技巧,然后使用这些技术尝试实现更复杂的功能并应用到更多方面。本书主要针对具有一定Delphi基础知识
0
使用 list 函数的输出数据: [[ 25 223] [ 730 863] [ 573 148] [ 153 1023]]
这个版本之所以“有效”,是因为在np.array(lst)这一行,我们并没有显式地指定数据类型。NumPy在将Python列表转换为数组时,会根据列表中的元素自动推断出一个最合适的数据类型。由于input_data中的值最大为1023,NumPy通常会推断出np.int32(或在某些系统上是np.int64)这样的数据类型,其取值范围远大于0-255,因此能够容纳所有原始数值,避免了溢出。
虽然这种隐式推断在某些情况下很方便,但它并不总是最佳实践,因为它可能导致:
要彻底解决NumPy数组赋值时的数据溢出问题,核心在于显式地为数组指定正确且足够大的数据类型。
选择合适的数据类型: 根据你预期存储的数据范围,选择一个能够完全容纳这些值的数据类型。
对于本例中的坐标数据,最大值是1023,最小值是25,且都是正整数。np.int16(范围通常为-32768到32767)或np.uint16(范围0到65535)都足以容纳这些值,并且比np.int32更节省内存。
修改代码以指定正确的dtype:
import numpy as np
def reorder_fixed(points):
points = points.reshape((4, 2))
# 修正:将 dtype 从 np.uint8 改为 np.int16 或 np.uint16
# 考虑到数据最大值1023,np.uint16 是一个合适的选择
points_new = np.zeros((4, 1, 2), np.uint16)
add = points.sum(1)
diff = np.diff(points, axis=1)
points_new[0] = points[np.argmin(add)]
points_new[3] = points[np.argmax(add)]
points_new[1] = points[np.argmin(diff)]
points_new[2] = points[np.argmax(diff)]
return points_new
input_data = np.array([[[ 573, 148]], [[ 25, 223]], [[ 153, 1023]], [[ 730, 863]]])
output_data_fixed = reorder_fixed(input_data)
print("使用 fixed 函数的输出数据:\n", output_data_fixed)
print("输出数据的数据类型:", output_data_fixed.dtype)运行修正后的代码,将得到期望的输出:
使用 fixed 函数的输出数据: [[[ 25 223]] [[ 730 863]] [[ 573 148]] [[ 153 1023]]] 输出数据的数据类型: uint16
现在,output_data_fixed中的数值与原始输入数据完全一致,且数据类型为uint16。
NumPy数组的数据类型(dtype)是其强大功能的核心,但也是新手常遇到的陷阱。理解每种数据类型的取值范围至关重要,特别是在创建新数组或进行类型转换时。为了避免数据溢出和意外的数值改变,请始终遵循以下最佳实践:
通过深入理解和正确应用NumPy的数据类型,可以有效避免常见的数值处理错误,确保数据操作的准确性和可靠性。
以上就是深入理解NumPy数据类型:避免数组赋值时的数据溢出问题的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号