检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性云服务器场景典型应用 创建支持IB网卡的弹性云服务器 配置单个ECS免密登录 安装和使用MPI 制作私有镜像 创建应用集群 配置ECS集群互相免密登录 在HPC集群上运行MPI应用
裸金属服务器场景典型应用 创建裸金属服务器集群 配置BMS集群互相免密登录 安装和使用MPI(X86 BMS场景) 安装和使用MPI(鲲鹏BMS场景) 在HPC集群上运行MPI应用(X86 BMS场景) 在HPC集群上运行MPI应用(鲲鹏BMS场景)
依次登录集群中所有ECS,重复执行2.d~2.f。 配置IB网卡的IP地址。 对集群中所有的ECS,执行以下命令,为IB驱动配置IP地址。 # ifconfig ib0 192.168.23.34/24 # ifconfig ib0 192.168.23.35/24 ... IP地址可随意指定,但需要在同一网段内。
弹性云服务器场景最佳实践 HPC断点续算计算方案 基于STAR-CCM+部署HPC集群
依次登录集群中所有ECS,重复执行步骤1.1~步骤1.3,关闭所有ECS的防火墙。 修改配置文件。 登录集群中任意一台ECS。 执行以下命令,查看ECS的主机名。 # hostname 图2 查看ECS的主机名 依次登录集群中所有ECS,重复执行步骤2.1~步骤2.2,获取所有ECS的主机名。
机,无需尤其是面对高性能计算HPC、大数据分析和浪涌型IO高并发、低时延应用,现有TCP/IP软硬件架构和应用高CPU消耗的技术特征根本不能满足应用的需求。 RDMA优势 零复制:零复制网络技术使网卡可以直接与应用内存相互传输数据,从而消除了在应用内存与内核之间复制数据的需要。因此,传输延迟会显著减小。
依次登录集群中其他BMS,重复执行步骤1~5。 执行以下命令,验证参加测试的BMS之间是否可以免密码互相登录。 $ ssh 用户名@SERVER_IP 父主题: 裸金属服务器场景典型应用
对于集群中的每台BMS,都需要执行该操作。 前提条件 已配置BMS集群间互相免密登录。 操作步骤 安装MPICH。 下载MPICH。 下载地址:https://aur.archlinux.org/packages/mpich/ 执行以下命令,解压并安装MPICH。 以mpich-3
验证MPI运行在RoCE网络上 执行以下命令,安装iproute2。 yum -y install iproute* 执行以下命令,查看RoCE上是否有流量。 rdma res show 若MPI运行中,回显结果中qp 数量较大(大于1),则证明运行在 RoCE 网络上: 无业务时 有业务时
安装和使用MPI 弹性云服务器场景支持使用的MPI IB驱动自带的OpenMPI 社区OpenMPI Spectrum MPI Intel MPI Platform MPI 父主题: 弹性云服务器场景典型应用
Platform MPI 操作场景 本节指导用户在ECS上安装和使用Platform MPI应用(以版本platform_mpi-09.01.04.03r-ce为例)。 前提条件 已配置弹性云服务器免密登录。 操作步骤 安装Platform MPI。 执行以下命令,安装需要的库文件。
1版本的OpenMPI为例)。 前提条件 已配置弹性云服务器免密登录。 操作步骤 安装HPC-X工具套件。 下载需要的HPC-X工具套件以及OpenMPI。 使用社区OpenMPI时,需要同时使用Mellanox的HPC-X 套件,HPC-X 的下载需要参考弹性云服务器操作系统的版本以及IB驱动版本
Enterprise Linux version 7.3及其之后的版本 前提条件 已配置弹性云服务器免密登录。 操作步骤 获取软件包。 获取IBM Spectrum MPI软件包。 下载地址:https://www-01.ibm.com/marketing/iwm/iwm/web/preLogin
提供按需扩展的高性能文件存储。 华为 1 以华为云管理控制台显示为准。 6 虚拟私有云(VPC) 为云服务器等云上资源构建隔离、私密的虚拟网络环境。 华为 1 以华为云管理控制台显示为准。 7 云硬盘(EVS) 为ECS、BMS等计算服务提供持久性块存储的服务。 华为 >1 以华为云管理控制台显示为准。
rccm使用platform方式启动时候需要使用该配置名称。 enp177s0为网卡名称,可以使用ip a或者ipconfig查看到。 验证Udapl(使用dtest测试RoCE网络) 使用 dtest 进行验证: server端(192.168.0.96):dtest -P o
指定的物理核数。 ip1,ip2:运行STAR-CCM+指定的主机信息。 core_num1,core_num2:指定每个主机运行的物理核数。 hiroce gids:查下设备名和index。 UCX_NET_DEVICES: hiroce gids查到的有ip一行的ib_dev的值,:后面的值为port的id。
本节指导用户安装和使用IB驱动自带的OpenMPI(以版本3.0.0rc6为例)。 前提条件 已配置弹性云服务器免密登录。 操作步骤 检查是否已安装IB驱动。 使用“PuTTY”,采用密钥对方式登录弹性云服务器。 执行以下命令,切换为root 用户。 $ sudo su 执行以下命令,防止系统超时退出。
常见问题 RoCE网络问题 STAR-CCM+启动相关问题 父主题: 附录
ssh-key-gen # 拷贝公钥到指定主机的~/.ssh/authorized_key文件中 ssh-copy-id root@目标主机IP 例如:ssh-copy-id root@192.168.0.166 配置ssh第一次登录免输入yes 在~/.ssh/config文件中加入如下内容:
qstat -f 作业ID 如图5所示,作业运行了3分03秒。由此可以看出,作业是从断点的位置进行续算的。 图5 中断后运行作业信息 父主题: 弹性云服务器场景最佳实践