检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
依次登录集群中所有ECS，重复执行1.a～1.c，关闭所有ECS的防火墙。 修改配置文件。 登录集群中任意一台ECS。 执行以下命令，查看ECS的主机名。 # hostname 图2 查看主机名 依次登录集群中所有ECS，重复执行2.a～2.b，获取所有ECS的主机名。 登录集群中任意一台ECS。
6的操作系统为例在集群上运行MPI应用。 安装和使用IB驱动自带的Open MPI 安装和使用社区OpenMPI 安装和使用MPICH 父主题： 裸金属服务器场景典型应用
Turbo 功能介绍 SFS Turbo提供按需扩展的高性能文件存储（NAS），可为云上多个弹性云服务器（Elastic Cloud Server，ECS），容器（CCE&CCI），裸金属服务器（BMS）提供共享访问，能够弹性伸缩至320TB规模，具备高可用性和持久性，为海量的小文件、低延迟高IOPS型应用提供有力支持。
-y install iproute* 执行以下命令，查看RoCE上是否有流量。 rdma res show 若MPI运行中，回显结果中qp 数量较大（大于1），则证明运行在 RoCE 网络上： 无业务时 有业务时 父主题： 实施步骤
bms-0005 ... 依次登录集群中所有BMS，重复执行2.e～2.f。 在任意一台BMS中执行以下命令，运行社区Open MPI。 以两个BMS为例： $ mpirun -np 2 --pernode -hostfile hostfile /home/rhel/hello 图3
3的HPC-X版本是“hpcx-v2.2.0-gcc-MLNX_OFED_LINUX-4.3-1.0.1.0-redhat7.3-x86_64.tbz”。 下载地址：https://developer.nvidia.com/networking/hpc-x 将下载的软件包拷贝到BMS内（建议在“/home/rhel”目录下）。
主要概念 RDMA RoCE 父主题： 附录
slots=2 ... 依次登录集群中所有BMS，重复执行步骤2.1～步骤2.2。 在任意一台BMS中执行以下命令，运行社区Open MPI。 以两个BMS为例： $ mpirun -np 2 --pernode -hostfile hostfile /home/rhel/hello 图2
常见问题 RoCE网络问题 STAR-CCM+启动相关问题 父主题： 附录
挂载共享目录 安装软件 yum install nfs-utils 挂载SFS Turbo 将SFS Turbo挂载到/opt/Siemens目录 mkdir /opt/Siemens # 在/etc/fstab中添加开启自动挂载 echo "192.168.0.15:/ /opt/Siemens
IB驱动自带的OpenMPI 社区OpenMPI Spectrum MPI Intel MPI Platform MPI 父主题： 裸金属服务器场景典型应用
RDMA RDMA概念 远程直接内存访问(即Remote Direct Memory Access)是一种直接内存访问技术，它将数据直接从一台计算机的内存传输到另一台计算机，无需尤其是面对高性能计算HPC、大数据分析和浪涌型IO高并发、低时延应用，现有TCP/IP软硬件架构和应用
gids：查下设备名和index。 UCX_NET_DEVICES: hiroce gids查到的有ip值一行的ib_dev的值: port的值。 UCX_IB_GID_INDEX：hiroce gids查到的有ip值一行的idx的值。 2.若以上方法无法解决，请联系技术支持进行处理。 STAR-CCM+启动时，报错“udapl
则表示hostfile文件配置成功。 在任意一台BMS中执行以下命令，运行MPI benchmark，运行时指定hostfile路径。 以两个BMS为例： $ mpirun -np 2 -pernode --hostfile hostfile -mca btl_openib_if_include
安装IB驱动。 下载安装包“MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6alternate-aarch64.tgz”。 下载地址：https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/
配置节点互信 配置节点互信免密登录 STAR-CCM+集群运行时候需要跨节点运行，推荐使用互信免密登录。 # 生成ssh公钥和私钥 ssh-key-gen # 拷贝公钥到指定主机的~/.ssh/authorized_key文件中 ssh-copy-id root@目标主机IP 例如：ssh-copy-id
通讯录安装 Udapl安装和测试 Udapl安装 cd /root wget https://linux.mellanox.com/public/repo/mlnx_ofed/4.1-1.0.2.0/SRPMS/dapl-2.1.10mlnx-OFED.3.4.2.1.0.41102
RoCE网络问题 dtest或rping打流测试网络双向不通问题 问题现象： dtest/rping打流测试网络双向不通问题：A机器作为Server端，B机器作为Client端，dtest/rping测试RoCE网络异常；调换A、B机器角色，B机器作为Server端，A机器作为C
则表示hostfile文件配置成功。 在任意一台BMS中执行以下命令，运行MPI benchmark，运行时指定hostfile路径。 以两个BMS为例： $ mpirun -np 2 -pernode --hostfile hostfile -mca btl_openib_if_include
安装和使用Platform MPI 操作场景 本节指导用户在BMS集群上安装和使用Platform MPI应用（以版本platform_mpi- 09.01.04.03r-ce.bin为例）。 对于集群中的每台BMS，都需要执行该操作。 前提条件 已配置BMS集群间互相免密登录。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
