检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已成功创建带IB网卡的弹性云服务器,并绑定了弹性IP进行登录。 已使用私有镜像创建多个弹性云服务器。 操作步骤 关闭防火墙。 登录集群中任意一台ECS。 执行以下命令,关闭ECS防火墙。
优化性能 性能比普通云服务器大幅提升。 通过虚拟化优化(SR-IOV、PCI直通)等,各类测试报告显示:大规模云化HPC性能损耗不大。 约束与限制 MPI和通讯库的版本需要提前适配RoCE,请联系技术支持进行操作,建议使用推荐版本运行STAR-CCM+。
在HPC集群上运行Intel MPI 操作场景 该任务指导用户在ECS集群(以CentOS7.3为例)上运行Intel MPI应用(l_mpi_2018.0.128版本)。 前提条件 已成功创建带IB网卡的弹性云服务器,并绑定了弹性IP进行登录。
基于STAR-CCM+部署HPC集群 方案概述 资源和成本规划 STAR-CCM+部署HPC集群流程图 实施步骤 附录 父主题: 弹性云服务器场景最佳实践
在HPC集群上运行IB驱动自带的OpenMPI 操作场景 该任务指导用户在已配置好的弹性云服务器上,运行IB驱动自带的MPI应用(3.0.0rc6版本)。 前提条件 已成功创建带IB网卡的弹性云服务器,并绑定了弹性IP进行登录。 已使用私有镜像创建多个弹性云服务器。
RDMA优势 零复制:零复制网络技术使网卡可以直接与应用内存相互传输数据,从而消除了在应用内存与内核之间复制数据的需要。因此,传输延迟会显著减小。 内核旁路:内核协议栈旁路技术使应用程序无需执行内核内存调用就可向网卡发送命令。
实施步骤 创建HPC私有镜像 创建弹性云服务器 配置节点互信 创建SFS Turbo 挂载共享目录 通讯录安装 MPI安装 STAR-CCM+安装与运行 父主题: 基于STAR-CCM+部署HPC集群
附录 常见问题 主要概念 父主题: 基于STAR-CCM+部署HPC集群
应用场景 网络密集型应用,例如存储或者集群计算等,需要网络支持大带宽和低时延特性。RDMA的优势相比其他网络应用程序接口,例如Berkeley接口,就是低时延,低CPU负载和大带宽。RoCE可以比iWARP协议要实现更低的时延。 父主题: 主要概念
仿真软件STAR-CCM+安装在SFS Turbo中,其他软件安装在弹性云服务器中。 父主题: 基于STAR-CCM+部署HPC集群
创建SFS Turbo 功能介绍 SFS Turbo提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic Cloud Server,ECS),容器(CCE&CCI),裸金属服务器(BMS)提供共享访问,能够弹性伸缩至320TB规模,具备高可用性和持久性,
启用自动备份功能后,系统会根据您设置的备份策略,自动备份裸金属服务器。 勾选“使用自动备份”。 设置“备份策略”。 在下拉列表中选择备份策略,或单击“管理备份策略”,在云服务器备份页面进行设置。
主要概念 RDMA RoCE 父主题: 附录
常见问题 RoCE网络问题 STAR-CCM+启动相关问题 父主题: 附录
挂载共享目录 安装软件 yum install nfs-utils 挂载SFS Turbo 将SFS Turbo挂载到/opt/Siemens目录 mkdir /opt/Siemens # 在/etc/fstab中添加开启自动挂载 echo "192.168.0.15:/ /opt
MPI安装 Platform MPI安装 PlatformMPI使用STAR-CCM+自带的,不需要安装。 OpenMPI安装(可选) 若使用STAR-CCM+自带的,可不用安装。 cd /root tar zxvf openmpi-4.0.1.tar.gz cd openmpi-
配置节点互信 配置节点互信免密登录 STAR-CCM+集群运行时候需要跨节点运行,推荐使用互信免密登录。 # 生成ssh公钥和私钥 ssh-key-gen # 拷贝公钥到指定主机的~/.ssh/authorized_key文件中 ssh-copy-id root@目标主机IP 例如
通讯录安装 Udapl安装和测试 Udapl安装 cd /root wget https://linux.mellanox.com/public/repo/mlnx_ofed/4.1-1.0.2.0/SRPMS/dapl-2.1.10mlnx-OFED.3.4.2.1.0.41102
RoCE网络问题 dtest或rping打流测试网络双向不通问题 问题现象: dtest/rping打流测试网络双向不通问题:A机器作为Server端,B机器作为Client端,dtest/rping测试RoCE网络异常;调换A、B机器角色,B机器作为Server端,A机器作为Client
创建HPC私有镜像 前提条件 创建镜像需选择ECS系统盘镜像。 需修改镜像属性才能在ECS创建界面的C6h规格中选择到相应的镜像。 镜像获取 请联系技术支持进行操作。