利用 JAX vmap 高效并行化模型集成推理：解决参数结构不一致问题

在机器学习实践中，模型集成（ensemble learning）是一种常用的技术，它通过结合多个模型的预测结果来提高整体性能和鲁棒性。然而，当模型数量较多时，逐个模型进行推理会导致计算效率低下。jax提供了jax.vmap这一强大的工具，可以自动向量化函数，从而在批处理维度上并行执行操作，极大地提升计算效率。

问题描述：使用 vmap 并行化模型集成推理

假设我们有一个由多个神经网络组成的集成模型，每个网络的结构相同，但参数不同。我们希望计算每个网络在给定输入上的损失，并尝试使用jax.vmap来并行化这个过程，以避免低效的for循环。

初始的计算方式通常是这样的：

for params in ensemble_params:
    loss = mse_loss(params, inputs=x, targets=y)

def mse_loss(params, inputs, targets):
    preds = batched_predict(params, inputs)
    loss = jnp.mean((targets - preds) ** 2)
    return loss

其中，ensemble_params是一个Python列表，包含多个PyTree（每个PyTree代表一个模型的参数）。batched_predict是一个已经通过jax.vmap处理过的预测函数，用于对单个模型进行批处理推理。

为了消除for循环，我们尝试直接对mse_loss函数应用jax.vmap：

ensemble_loss = jax.vmap(fun=mse_loss, in_axes=(0, None, None))
# 期望：ensemble_loss(ensemble_params, x, y) 能并行计算所有模型的损失

然而，这样做通常会遇到以下ValueError：

ValueError: vmap got inconsistent sizes for array axes to be mapped:
  * most axes (8 of them) had size 3, e.g. axis 0 of argument params[0][0][0] of type float32[3,2];
  * some axes (8 of them) had size 4, e.g. axis 0 of argument params[0][1][0] of type float32[4,3]

这个错误表明vmap在尝试映射数组轴时遇到了尺寸不一致的问题。

深入理解 JAX vmap 的工作机制

jax.vmap是一个高阶函数，它接收一个函数f和一组in_axes参数，并返回一个新的函数f_batched。f_batched的行为类似于f，但它会在指定的输入轴上自动添加一个批处理维度，并在内部对这些批次进行并行操作。

文心大模型

百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

56

查看详情

vmap的核心原则是：它作用于JAX数组（jax.Array）的轴，而不是Python的列表（list）结构。当vmap处理一个PyTree（如神经网络参数）时，它会遍历PyTree的叶子节点（即jax.Array），并根据in_axes的指示在这些叶子数组的相应轴上执行批处理。

错误信息中的params[0][0][0]和params[0][1][0]分别指向PyTree中不同层的权重数组。例如，params[0][0][0]可能是第一个模型的第一个隐藏层的权重，其形状为(3, 2)；而params[0][1][0]可能是第一个模型的第二个隐藏层的权重，其形状为(4, 3)。ValueError提示vmap在尝试映射这些数组的第0轴时发现它们的大小不一致（3 vs 4）。

这揭示了问题的关键：当我们将一个Python列表ensemble_params（其中每个元素是一个模型的PyTree参数）传递给vmap时，vmap并没有将这个列表的元素直接作为批次维度。相反，它试图将in_axes=(0, None, None)中为params指定的0应用到ensemble_params的PyTree结构上。由于ensemble_params是一个Python列表，vmap会尝试将其内部的每个PyTree元素（即每个模型的参数）“堆叠”起来，形成一个批处理的PyTree。在这个堆叠过程中，它发现不同层（如params[0][0][0]和params[0][1][0]）的权重数组在它们的第0轴上具有不同的尺寸，这与vmap期望的批处理逻辑冲突。

简而言之，vmap期望的输入是一个“结构化数组”（Struct-of-Arrays）模式的PyTree，而不是一个“结构列表”（List-of-Structs）模式的Python列表。

• 结构列表 (List-of-Structs): [model1_params_pytree, model2_params_pytree, ...]
• 结构化数组 (Struct-of-Arrays): 一个PyTree，其中每个叶子节点是一个包含所有模型对应参数的批处理数组，例如 {'layer1_w': jnp.stack([w1_m1, w1_m2, ...]), 'layer1_b': jnp.stack([b1_m1, b1_m2, ...]), ...}

解决方案：从“结构列表”到“结构化数组”

解决这个问题的核心在于，在调用jax.vmap之前，将ensemble_params从“结构列表”模式转换为“结构化数组”模式。这意味着我们需要创建一个单个的PyTree，其中每个叶子节点是一个JAX数组，该数组的第一个维度代表了集成中的不同模型。

我们可以使用jax.tree_map结合jnp.stack来实现这一转换：

# 原始 ensemble_params 是一个列表，如 [model1_params, model2

以上就是利用 JAX vmap 高效并行化模型集成推理：解决参数结构不一致问题的详细内容，更多请关注php中文网其它相关文章！