Pydantic v2：处理含逗号的浮点数字符串自动解析

问题背景与Pydantic的默认行为

在处理来自不同地区或系统的数据时，我们经常会遇到数字格式不统一的问题。例如，许多欧洲国家习惯使用逗号（,）作为小数点分隔符，而pydantic默认的float类型以及python标准库的浮点数解析，都期望使用点（.）作为小数点。当pydantic模型接收到如"13,7"这样的字符串作为浮点数字段的值时，它会尝试将其转换为浮点数，但由于逗号的存在，转换会失败并抛出验证错误。

为了解决这一问题，我们需要在Pydantic进行字段验证之前，对原始输入数据进行预处理，将所有浮点数字段中可能存在的逗号替换为点。

使用 model_validator(mode='before') 进行数据预处理

Pydantic v2提供了强大的验证器机制，其中@model_validator(mode='before')允许我们在数据被解析成Pydantic模型实例之前，对其进行修改。这使得它成为解决上述问题的理想工具。

当mode='before'时，验证器会接收到原始的输入数据（通常是一个字典），并期望返回一个经过修改后的字典，Pydantic将使用这个修改后的字典继续后续的字段验证。

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

44

查看详情

实现自动修正浮点数字符串的验证器

下面是一个具体的实现示例，展示了如何在Pydantic模型中添加一个model_validator来自动处理带逗号的浮点数字符串：

from pydantic import BaseModel, model_validator
from typing import Dict, Any

class User(BaseModel):
    name: str
    balance: float
    weight: float
    # ... 其他浮点数字段

    @model_validator(mode='before')
    @classmethod
    def fix_float_strings(cls, data: Dict[str, Any]) -> Dict[str, Any]:
        """
        在Pydantic模型验证前，自动修正浮点数字段中将逗号作为小数点的字符串。
        """
        # 遍历输入数据的每一个键值对
        for field_name, value in data.items():
            # 1. 检查字段是否在模型的注解中定义
            # 2. 检查该字段的类型注解是否为 float 或其子类
            #    cls.__annotations__[field_name] 获取字段的类型注解
            #    issubclass(float, cls.__annotations__[field_name]) 判断注解类型是否是 float 或其父类
            #    注意：对于 Optional[float] 这样的注解，需要更复杂的处理，这里简化为直接 float
            if field_name in cls.__annotations__ and issubclass(float, cls.__annotations__[field_name]):
                # 3. 检查当前值是否为字符串类型
                if isinstance(value, str):
                    # 4. 执行替换操作：将逗号替换为点
                    data[field_name] = value.replace(',', '.')
        return data

# 示例使用
try:
    user_data_1 = {"name": "Alice", "balance": "13,7", "weight": "65,2"}
    user_1 = User(**user_data_1)
    print(f"用户1解析成功: {user_1.model_dump_json(indent=2)}")
    # 预期输出: {"name": "Alice", "balance": 13.7, "weight": 65.2}

    user_data_2 = {"name": "Bob", "balance": "100.5", "weight": 70.0} # 正常格式
    user_2 = User(**user_data_2)
    print(f"用户2解析成功: {user_2.model_dump_json(indent=2)}")

    user_data_3 = {"name": "Charlie", "balance": "invalid_float", "weight": "60,0"}
    user_3 = User(**user_data_3) # 预期会抛出ValidationError
except Exception as e:
    print(f"\n解析失败示例: {e}")

代码解析

1. @model_validator(mode='before'): 这个装饰器将fix_float_strings方法标记为一个模型验证器，它将在Pydantic尝试将输入数据转换为模型实例 之前 运行。mode='before'意味着它接收原始的字典数据。
2. @classmethod: 模型验证器通常定义为类方法，因为它操作的是类级别的数据和注解。
3. fix_float_strings(cls, data: Dict[str, Any]) -> Dict[str, Any]:
   • cls：代表模型类本身（User）。
   • data：传入的原始输入数据，类型为字典。
   • 返回类型为Dict[str, Any]：验证器必须返回一个字典，Pydantic将使用这个字典继续处理。
4. for field_name, value in data.items():: 遍历输入字典中的所有键值对。
5. if field_name in cls.__annotations__ and issubclass(float, cls.__annotations__[field_name]):: 这是核心逻辑。
   • field_name in cls.__annotations__: 确保当前遍历的键是Pydantic模型中定义的字段。
   • issubclass(float, cls.__annotations__[field_name]): 检查该字段的类型注解是否为float或其子类。这确保我们只处理那些被明确声明为浮点数的字段，避免不必要地修改其他字段（例如，字符串字段中的逗号）。
6. if isinstance(value, str):: 进一步确认当前字段的值确实是字符串类型。只有字符串才需要进行替换操作。
7. data[field_name] = value.replace(',', '.'): 如果上述条件都满足，则执行字符串替换操作，将逗号替换为点。

注意事项与最佳实践

• mode='before' 的重要性: 确保在Pydantic的内置类型转换和验证逻辑执行之前完成数据修正。如果使用mode='after'，数据可能已经被Pydantic尝试转换为浮点数并抛出错误，导致验证器无法生效。
• 类型检查的严谨性: 示例中的issubclass(float, cls.__annotations__[field_name])可以有效识别float类型的字段。对于更复杂的类型提示，如Optional[float]或Union[float, int]，可能需要更精细的类型检查逻辑，例如使用typing.get_origin和typing.get_args来解析联合类型。
• 性能考量: 对于包含大量字段或海量数据的模型，遍历所有字段并进行字符串操作可能会带来轻微的性能开销。但在大多数常见应用场景中，这种开销是可接受的。
• 国际化与本地化: 这种方法专门解决了逗号作为小数点的问题。如果还需要处理千分位分隔符（例如"1.000,50"），或者需要支持更多复杂的本地化数字格式，可能需要引入更专业的本地化库（如locale模块或第三方库）进行更全面的解析。
• 错误处理: 即使进行了逗号替换，如果原始字符串（例如"abc"或"1.2.3"）在替换后仍然无法被Python的float()函数解析，Pydantic仍会抛出ValidationError。这是预期的行为，因为它确保了数据的最终有效性。

总结

通过利用Pydantic v2的@model_validator(mode='before')，我们可以优雅且高效地解决因数字格式差异（如逗号作为小数点）导致的数据解析问题。这种方法在模型验证流程早期介入，确保了数据的规范化，从而使得Pydantic能够顺利地将输入数据转换为正确的Python类型，极大地增强了数据模型的鲁棒性和适应性。

以上就是Pydantic v2：处理含逗号的浮点数字符串自动解析的详细内容，更多请关注php中文网其它相关文章！