指定网络类型错误，提示指定的网络类型不可用

现象描述

• 提交MPI作业时指定的网络类型错误导致mpirun命令运行失败。

  运行失败示例如下：

  mpirun -np 16 -N 2 --hostfile ~/hmpifile_2021/hostfile/hf8 -x UCX_NET_DEVICES=mlx5_0:1 -x UCX_TLS=tcp ~/hmpifile_2021/allreduce/AllReduce

  1 2 3 4 5 6 7 8 9

  [1632384264.377328] [arm-node132:2637768:0] ucp_context.c:1073 UCX ERROR no usable transports/devices (asked tcp on network:mlx5_0:1 ) [arm-node132:2637768] *** An error occurred in MPI_Allreduce [arm-node132:2637768] *** reported by process [2539913217,0] [arm-node132:2637768] *** on communicator MPI_COMM_WORLD [arm-node132:2637768] *** MPI_ERR_INTERN: internal error [arm-node132:2637768] *** MPI_ERRORS_ARE_FATAL (processes in this communicator will now abort, [arm-node132:2637768] *** and potentially your MPI job) [arm-node132:2637714] 7 more processes have sent help message help-mpi-errors.txt / mpi_errors_are_fatal [arm-node132:2637714] Set MCA parameter "orte_base_help_aggregate" to 0 to see all help / error messages

可能原因

运行mpirun命令时指定了无效的-x UCX_TLS参数，不同网络设备所支持的传输模式不同。

恢复步骤

1. 使用PuTTY工具，以Hyper MPI普通用户（例如“hmpi_user”）登录至作业执行节点。
2. 执行以下命令，查询当前作业执行节点所有可用的网卡类型以及相应的网络协议。

   ucx_info -d

   1 2	Transport: rc_mlx5 Device: mlx5_0:1

3. 执行以下命令，将网络协议修改为当前可用网络协议。

   mpirun -np 16 -N 2 --hostfile ~/hmpifile_2021/hostfile/hf8 -x UCX_NET_DEVICES=mlx5_0:1 -x UCX_TLS=rc_mlx5 ~/hmpifile_2021/allreduce/AllReduce

   

   • ~/hmpifile_2021/hostfile：表示指定作业运行节点的文件路径。
   • hf8：表示指定作业运行节点的文件。
   • ~/hmpifile_2021/allreduce：表示指定运行作业的路径。
   • AllReduce：表示指定的运行作业。

   • mlx5_0:1：表示2查询到的网卡类型。
   • rc_mlx5：表示2查询到的网络协议。