检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载地址：https://developer.nvidia.com/networking/hpc-x 安装HPC-X工具套件。 将1中下载的HPC-X压缩包上传至运行MPI的弹性云服务器内。 执行以下命令，解压HPC-X工具套件。 $ tar xvf hpcx-v2.0.0-gcc-MLNX_OFED_LINUX-4
提供按需扩展的高性能文件存储。 华为 1 以华为云管理控制台显示为准。 6 虚拟私有云（VPC） 为云服务器等云上资源构建隔离、私密的虚拟网络环境。 华为 1 以华为云管理控制台显示为准。 7 云硬盘（EVS） 为ECS、BMS等计算服务提供持久性块存储的服务。 华为 >1 以华为云管理控制台显示为准。
在HPC集群上运行Spectrum MPI 在HPC集群上运行Intel MPI 在HPC集群上运行Platform MPI 父主题： 弹性云服务器场景典型应用
企业分支、科研组织机构等跨全球地理位置进行及时协同工作，提高效率。 可以利用公有云的跨地域能力，共享计算资源，海量数据，并能实现云端大数据分析。 优化性能 性能比普通云服务器大幅提升。 通过虚拟化优化（SR-IOV、PCI直通）等，各类测试报告显示：大规模云化HPC性能损耗不大。 约束与限制 MPI和通讯库的
主要概念 RDMA RoCE 父主题： 附录
常见问题 RoCE网络问题 STAR-CCM+启动相关问题 父主题： 附录
finiBand和Ethernet两种传输网络。而在以太网上，又可以根据与以太网融合的协议栈的差异分为iWARP和RoCE(包括RoCEv1和RoCEv2)。其中，InfiniBand是最早实现RDMA的网络协议，被广泛应用到高性能计算中。 父主题： 主要概念
使用“PuTTY”，采用密钥对方式登录弹性云服务器。 登录用户为创建弹性云服务器时指定的用户名。 执行以下命令，防止系统超时退出。 # TMOUT=0 执行以下命令，验证参加测试的弹性云服务器之间是否可以免密码互相登录。 $ ssh 用户名@SERVER_IP 执行以下命令，关闭弹性云服务器的防火墙。 #
是从sfs turbo console中获取到的挂载的路径。 第1个1表示备份文件系统，第2个1表示从/分区的顺序开始fsck磁盘检测，0表示不检测，_rnetdev 表示主机无法挂载直接跳过，避免无法挂载主机无法启动。 设置服务开机自启动 systemctl enable rpcbind
配置节点互信 配置节点互信免密登录 STAR-CCM+集群运行时候需要跨节点运行，推荐使用互信免密登录。 # 生成ssh公钥和私钥 ssh-key-gen # 拷贝公钥到指定主机的~/.ssh/authorized_key文件中 ssh-copy-id root@目标主机IP 例如：ssh-copy-id
通讯录安装 Udapl安装和测试 Udapl安装 cd /root wget https://linux.mellanox.com/public/repo/mlnx_ofed/4.1-1.0.2.0/SRPMS/dapl-2.1.10mlnx-OFED.3.4.2.1.0.41102
Converged Ethernet (RoCE)是一种网络协议，允许应用通过以太网实现远程内存访问。目前RoCE有两个协议版本，v1和v2。其中RoCE v1是一种链路层协议，允许在同一个广播域下的任意两台主机直接访问。而RoCE v2是一种Internet层协议，即可以实现路由功能
install iproute* 执行以下命令，查看RoCE上是否有流量。 rdma res show 若MPI运行中，回显结果中qp 数量较大（大于1），则证明运行在 RoCE 网络上： 无业务时 有业务时 父主题： 实施步骤
依次登录集群中所有ECS，重复执行1.a～1.c，关闭所有ECS的防火墙。 修改配置文件。 登录集群中任意一台ECS。 执行以下命令，查看ECS的主机名。 # hostname 图2 查看主机名 依次登录集群中所有ECS，重复执行2.a～2.b，获取所有ECS的主机名。 登录集群中任意一台ECS。
每个节点直接将NAS挂载到本地盘中，简化安装，使用更加方便。 购买SFS Turbo 1.在华为云控制台搜索“弹性文件服务 SFS”，并在弹性文件服务页面右上角选择“创建文件系统”。 图1 创建文件系统 2.在"创建文件系统"界面的"文件系统类型"选项中，根据业务需要，选择"H
该任务指导用户在已配置好的弹性云服务器上，运行社区MPI应用（3.1.1版本）。 前提条件 已成功创建带IB网卡的弹性云服务器，并绑定了弹性IP进行登录。 已使用私有镜像创建多个弹性云服务器。 操作步骤 使用“PuTTY”，采用密钥对方式登录弹性云服务器。 登录用户为创建弹性云服务器时指定的用户名。
该任务指导用户在已配置好的弹性云服务器上，运行IB驱动自带的MPI应用（3.0.0rc6版本）。 前提条件 已成功创建带IB网卡的弹性云服务器，并绑定了弹性IP进行登录。 已使用私有镜像创建多个弹性云服务器。 操作步骤 使用“PuTTY”，采用密钥对方式登录弹性云服务器。 登录用户为创建弹性云服务器时指定的用户名。
依次登录集群中所有ECS，重复执行步骤1.1～步骤1.3，关闭所有ECS的防火墙。 修改配置文件。 登录集群中任意一台ECS。 执行以下命令，查看ECS的主机名。 # hostname 图2 查看ECS的主机名 依次登录集群中所有ECS，重复执行步骤2.1～步骤2.2，获取所有ECS的主机名。
异常；调换A、B机器角色，B机器作为Server端，A机器作为Client端，dtest/rping测试RoCE网络仍异常。 解决方案： 1.请检查集群中每个节点的配置文件/etc/dat.conf中"ofa-v2-cma-roe-enp177s0"是否放在首行且每个节点都一致。
创建镜像需选择ECS系统盘镜像。 需修改镜像属性才能在ECS创建界面的C6h规格中选择到相应的镜像。 镜像获取 请联系技术支持进行操作。 创建系统盘镜像 请使用镜像文件创建系统盘镜像，需注意镜像用途选择ECS系统盘镜像如图1，选择启动方式为UEFI图2，否则系统无法启动。 图1 创建系统盘镜像
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
