解决PyTorch分布式Gloo在EC2多节点通信中挂起的问题

引言：PyTorch分布式与Gloo后端

pytorch提供强大的分布式训练能力，允许模型在多个计算节点上并行训练，从而加速大型模型的训练过程。其核心是torch.distributed模块，它支持多种后端（如nccl、gloo、mpi）来实现不同节点间的通信。其中，gloo后端是一个cpu友好、跨平台的通信库，常用于cpu训练或作为gpu训练的备用通信方式。

在分布式训练中，通常需要设置一系列环境变量来协调各个进程，包括MASTER_ADDR（主节点IP）、MASTER_PORT（主节点端口）、WORLD_SIZE（总进程数）和RANK（当前进程的排名）。这些参数在调用torch.distributed.init_process_group时用于初始化进程组，建立节点间的通信连接。

问题现象：init_process_group挂起与Gloo连接失败

在AWS EC2等多节点环境中部署PyTorch分布式训练时，用户可能会遇到torch.distributed.init_process_group('gloo')调用后进程挂起，或在一段时间后报错RuntimeError: Gloo connectFullMesh failed。

典型错误信息示例：

[E ProcessGroupGloo.cpp:138] Gloo connectFullMesh failed with [/opt/conda/conda-bld/pytorch_1699449045860/work/third_party/gloo/gloo/transport/tcp/pair.cc:144] no error
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/ec2-user/miniconda3/envs/pytorch_env/lib/python3.9/site-packages/torch/distributed/c10d_logger.py", line 74, in wrapper
    func_return = func(*args, **kwargs)
  File "/home/ec2-user/miniconda3/envs/pytorch_env/lib/python3.9/site-packages/torch/distributed/distributed_c10d.py", line 1155, in init_process_group
    default_pg, _ = _new_process_group_helper(
  File "/home/ec2-user/miniconda3/envs/pytorch_env/lib/python3.9/site-packages/torch/distributed/distributed_c10d.py", line 1293, in _new_process_group_helper
    backend_class = ProcessGroupGloo(backend_prefix_store, group_rank, group_size, timeout=timeout)
RuntimeError: Gloo connectFullMesh failed with [/opt/conda/conda-bld/pytorch_1699449045860/work/third_party/gloo/gloo/transport/tcp/pair.cc:144] no error

此错误通常伴随着以下现象：

1. 主节点（RANK 0）可能在等待一段时间后抛出上述错误。
2. 其他从节点（RANK > 0）则会持续挂起，没有任何错误输出。
3. 即使通过nc或telnet等工具测试MASTER_PORT在节点间是可达的，问题依然存在。
4. 在同一台机器上，通过多进程模拟分布式环境（例如，在同一台EC2实例上启动两个Python进程，一个设RANK=0，另一个设RANK=1），init_process_group可以正常完成。这表明问题并非代码逻辑错误，而是跨节点通信的特有障碍。

根本原因：Gloo全连接网格的端口需求

Gloo后端在初始化时，尤其是当WORLD_SIZE > 1时，会尝试建立一个“全连接网格”（Full Mesh）通信模式。这意味着集群中的每个节点都需要能够与其他所有节点建立直接的TCP连接。这些连接不仅限于MASTER_PORT，还包括Gloo内部用于数据传输的动态分配的端口。

当仅在EC2安全组中开放MASTER_PORT时，主节点与从节点之间的初始握手可能成功，但Gloo在尝试建立后续的全连接时，由于其他必要端口被防火墙（如EC2安全组）阻塞，导致连接失败并最终超时。错误信息中的connectFullMesh failed正是指Gloo未能成功建立所有必需的连接。

解决方案：EC2安全组配置策略

解决此问题的关键在于正确配置AWS EC2实例的安全组，确保分布式训练所需的全部端口都能在节点间正常通信。

核心要点：

不是所有通信都通过MASTER_PORT。Gloo需要节点间在多个动态端口上进行通信。因此，最直接的解决方案是允许集群内部节点间的所有TCP流量或特定端口范围的流量。

AI建筑知识问答

用人工智能ChatGPT帮你解答所有建筑问题

22

查看详情

具体操作步骤与建议：

1. 确定集群内的实例： 确保所有参与分布式训练的EC2实例都属于同一个安全组，或者配置了相互引用的安全组规则。
2. 修改安全组入站规则：
   • 选择目标安全组： 找到你的EC2实例所关联的安全组。
   • 添加入站规则：
     • 类型： 选择“所有TCP”（All TCP）或“所有流量”（All Traffic）。虽然“所有流量”更宽泛，但对于内部集群通信，通常可以接受。
     • 端口范围： 如果选择“所有TCP”，端口范围将自动设置为“所有”。
     • 源： 这是最关键的部分。为了安全起见，不应允许来自“0.0.0.0/0”（任何IP）的所有流量。你应该将源设置为：
       • 当前安全组ID： 如果所有分布式训练的实例都使用同一个安全组，直接选择该安全组的ID作为源。这意味着该安全组内的所有实例可以互相访问所有端口。
       • 特定CIDR块： 如果实例分布在不同的安全组，但位于同一VPC内且IP地址范围已知，可以将源设置为包含所有实例私有IP地址的CIDR块（例如：10.0.0.0/16）。
       • 其他安全组ID： 如果你的实例属于不同的安全组，但这些安全组是专门为这个集群设计的，你可以将源设置为其他实例所属的安全组ID。
3. 修改安全组出站规则（通常默认已允许所有出站）：
   • 检查出站规则，确保允许到目标安全组ID或CIDR块的所有TCP流量。通常，EC2安全组的默认出站规则是允许所有流量到任何地方，这通常不是问题。但如果被修改过，需要确保其允许到集群内其他节点的通信。

示例安全组入站规则（推荐方式）：

其中sg-xxxxxxxx替换为你的EC2实例所使用的安全组ID。

PyTorch分布式最小示例

以下是一个简化的PyTorch分布式代码示例，用于演示init_process_group的用法。确保在运行前设置好所有必要的环境变量。

import os
import torch
import torch.distributed as dist

def run(rank, world_size):
    """
    分布式训练的入口函数
    """
    # 1. 初始化进程组
    # 'gloo' 是一个CPU友好的后端，适用于多机CPU或混合CPU/GPU场景
    # 'nccl' 是NVIDIA GPU专用的高性能后端
    dist.init_process_group("gloo", rank=rank, world_size=world_size)
    print(f"Rank {rank} / {world_size} successfully initialized process group.")

    # 2. 执行分布式操作 (例如，all_reduce)
    tensor = torch.tensor([rank * 1.0])
    print(f"Rank {rank}: Initial tensor value: {tensor}")

    # 将所有进程的张量求和
    dist.all_reduce(tensor, op=dist.ReduceOp.SUM)
    print(f"Rank {rank}: Tensor after all_reduce: {tensor}")

    # 3. 清理进程组
    dist.destroy_process_group()
    print(f"Rank {rank}: Destroyed process group.")

if __name__ == "__main__":
    # 从环境变量获取分布式参数
    rank = int(os.environ["RANK"])
    world_size = int(os.environ["WORLD_SIZE"])
    master_addr = os.environ["MASTER_ADDR"]
    master_port = os.environ["MASTER_PORT"]
    gloo_ifname = os.environ.get("GLOO_SOCKET_IFNAME") # 可选，如果有多网卡

    print(f"Starting process with RANK={rank}, WORLD_SIZE={world_size}, "
          f"MASTER_ADDR={master_addr}, MASTER_PORT={master_port}, "
          f"GLOO_SOCKET_IFNAME={gloo_ifname}")

    run(rank, world_size)

运行方式（以两台EC2实例为例）：

在主节点 (Rank 0) 上：

# env_vars_rank0.sh
export MASTER_ADDR=<主节点私有IP> # 例如：172.31.0.10
export MASTER_PORT=23456
export WORLD_SIZE=2
export RANK=0
export GLOO_SOCKET_IFNAME=enX0 # 根据ifconfig确认你的私有IP对应的网卡名称，例如eth0, enX0

# 运行
source env_vars_rank0.sh
python your_script_name.py

在从节点 (Rank 1) 上：

# env_vars_rank1.sh
export MASTER_ADDR=<主节点私有IP> # 必须与主节点相同
export MASTER_PORT=23456 # 必须与主节点相同
export WORLD_SIZE=2 # 必须与主节点相同
export RANK=1
export GLOO_SOCKET_IFNAME=enX0 # 根据ifconfig确认你的私有IP对应的网卡名称，例如eth0, enX0

# 运行
source env_vars_rank1.sh
python your_script_name.py

注意事项与最佳实践

1. 安全性考量： 允许“所有TCP”或“所有流量”在生产环境中可能不是最佳实践。如果对安全性有更高要求，可以考虑：
   • 限制端口范围： 如果Gloo或NCCL使用的动态端口范围已知（通常不固定，但可能在特定版本或配置下有规律），可以尝试只开放该范围。
   • 网络ACLs (NACLs)： 除了安全组，VPC网络ACLs也可能限制流量。确保NACLs也允许所需通信。
   • 细化安全组规则： 仅允许来自特定私有IP地址的连接，而非整个安全组。这在集群规模固定且IP已知时可行。
2. 网络接口配置 (GLOO_SOCKET_IFNAME)： 如果EC2实例有多个网络接口（例如，除了主接口还有EFA接口），确保GLOO_SOCKET_IFNAME环境变量指向正确的、用于节点间通信的接口名称。可以通过ifconfig命令查看。
3. 使用私有IP地址： 在EC2实例内部进行分布式通信时，始终使用私有IP地址作为MASTER_ADDR，而不是公共IP地址。这不仅更安全，通常也更快，且不消耗数据传输费用（在同一可用区内）。
4. 操作系统级防火墙检查： 除了AWS安全组，EC2实例内部的操作系统级防火墙（如ufw、firewalld或iptables）也可能阻止连接。在排查问题时，请检查并确保这些防火墙没有阻碍Gloo的通信。
5. Gloo版本与PyTorch版本： 确保所使用的PyTorch版本与Gloo后端兼容。通常，PyTorch安装包会包含对应的Gloo库。
6. 错误信息分析： Gloo connectFullMesh failed with ... no error 中的“no error”可能具有误导性。它通常表示Gloo底层TCP传输层没有返回具体的系统错误码，但连接仍然未能成功建立，这往往指向网络配置或防火墙问题。

通过上述安全组配置调整，并结合正确的环境变量设置，PyTorch分布式训练在EC2多节点环境中使用Gloo后端时应能顺利初始化并运行。

以上就是解决PyTorch分布式Gloo在EC2多节点通信中挂起的问题的详细内容，更多请关注php中文网其它相关文章！