检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RoCE网络问题 dtest或rping打流测试网络双向不通问题 问题现象： dtest/rping打流测试网络双向不通问题：A机器作为Server端，B机器作为Client端，dtest/rping测试RoCE网络异常；调换A、B机器角色，B机器作为Server端，A机器作为C
InfiniBand），指利用物理IB网络（包括服务器上的IB卡、IB连接线、IB交换机等）通过IP协议进行连接，并进行数据传输。 它提供了基于RDMA之上的IP网络模拟层，允许应用无修改的运行在InfiniBand网络上。但是，IPoIB性能比RDMA通信方式性能要低，大多数应用都会采用RDMA方式获取高带宽
系统盘：超高I/O，40GB 设置网络，包括“虚拟私有云”、“安全组”、“网卡”、“弹性IP”等信息。 第一次使用公有云服务时，系统将自动为您创建一个虚拟私有云，包括安全组、网卡。 表2 参数说明 参数 解释 取值样例 虚拟私有云 弹性云服务器网络使用虚拟私有云（VPC）提供的网络，包括子网、安全组等。
pplication programming interface）方式。 前提条件 已确保Linux云服务器网卡设置为DHCP的方式动态获取网络地址。 已清理Linux云服务器中的udev配置规则。 已安装并配置Cloud-init工具。 已卸载Linux云服务器中挂载的所有数据盘。
这些好处都是基于融合以太网的特性，但是RoCE协议也可以使用在传统以太网网络或者非融合以太网络中。 应用场景 网络密集型应用，例如存储或者集群计算等，需要网络支持大带宽和低时延特性。RDMA的优势相比其他网络应用程序接口，例如Berkeley接口，就是低时延，低CPU负载和大带宽
内核旁路：内核协议栈旁路技术使应用程序无需执行内核内存调用就可向网卡发送命令。在不需要任何内核内存参与的条件下，RDMA请求从用户空间发送到本地网卡并通过网络发送给远程网卡，这就减少了在处理网络传输流时内核内存空间与用户空间之间环境切换的次数。 没有CPU参与：应用程序可以访问远程内存，而不占用远程机器中的任何C
所需资源如表1所示，具体资源的实际费用请以对应官网价格显示为准。 表1 资源和成本规划 序号 资源 资源说明 获取路径 数量 费用 1 STAR-CCM+ 使用STAR-CCM+15.02版本。 建议从官方网站获取 1 以官网显示价格为准。 2 MPI（可选） Plateform MPI 9.1.4.3：Plateform
用性。 使用HPC-S²服务，用户无需自建机房，无需顾虑硬件升级换代，可随时从虚拟资源池中获取并独享资源，并根据业务变化弹性扩展或收缩。 使用HPC-S²能够为用户自动化配置集群免密、网络信息服务（Network Information Service，NIS）以及集群调度器。 父主题：
靠近您业务的区域，可减少网络时延，提高访问速度。 选择“可用区”。 可用区指在同一区域下，电力、网络隔离的物理区域，可用区之间内网互通，不同可用区之间物理隔离。 如果您需要提高应用的高可用性，建议您将弹性云服务器创建在不同的可用区。 如果您需要较低的网络时延，建议您将弹性云服务器创建在相同的可用区。
弹性IP选择“现在购买”时，需配置该参数。 全动态BGP：可以根据设定的寻路协议实时自动优化网络结构，以保持客户使用的网络持续稳定、高效。 静态BGP：网络结构发生变化时，无法实时自动调整网络设置以保障用户体验。 计费方式 弹性IP选择“现在购买”时，需配置该参数。 按带宽计费：指
新增节点的规格配置。 规格：公有云提供了多种类型的弹性云服务器供您选择，单击下拉框进行选择； 系统盘：根据所需要的选择磁盘类型和大小； 网络配置。 集群扩容时，网络配置包括“虚拟私有云”、“安全组”以及“网卡”不可选，和集群初始创建时保持一致。 选择“镜像”。 推荐使用公共镜像，其他类型镜像可能出现扩容时自动部署失败的情况。
验证MPI运行在RoCE网络上 执行以下命令，安装iproute2。 yum -y install iproute* 执行以下命令，查看RoCE上是否有流量。 rdma res show 若MPI运行中，回显结果中qp 数量较大（大于1），则证明运行在 RoCE 网络上： 无业务时 有业务时
常见问题 RoCE网络问题 STAR-CCM+启动相关问题 父主题： 附录
创建HPC私有镜像 前提条件 创建镜像需选择ECS系统盘镜像。 需修改镜像属性才能在ECS创建界面的C6h规格中选择到相应的镜像。 镜像获取 请联系技术支持进行操作。 创建系统盘镜像 请使用镜像文件创建系统盘镜像，需注意镜像用途选择ECS系统盘镜像如图1，选择启动方式为UEFI图2，否则系统无法启动。
Platform MPI成功安装 配置环境变量。 执行以下命令，获取pkey。 # cat /sys/class/infiniband/mlx5_0/ports/1/pkeys/* | grep -v 0000 图2 获取pkey 普通用户下，在~/.bashrc中添加： export
要，选择"HPC型"或"HPC缓存型"文件系统类型。 图2 选择文件系统类型 3.在"创建文件系统"界面的"选择网络"选项中，需注意与购买的弹性云服务器选择相同的网络配置。 4.在"创建文件系统"界面的其他选项中请您根据业务需要，按需填写即可，填写完成后点击购买，完成创建。 图3
图1 Platform MPI安装成功 默认安装路径为/opt/ibm/platform_mpi。 配置MPI环境变量。 执行以下命令，获取pkey。 # cat /sys/class/infiniband/mlx5_0/ports/1/pkeys/* | grep -v 0000
已配置弹性云服务器免密登录。 操作步骤 获取软件包。 获取IBM Spectrum MPI软件包。 下载地址：https://www-01.ibm.com/marketing/iwm/iwm/web/preLogin.do?source=swerpsysz-lsf-3 获取的软件包一般为两个，包括
是一种海量数据传输服务，它使用物理存储介质（USB或eSATA接口）向华为公有云传输大量数据。解决了海量数据在互联网上传输的难题（高昂网络带宽成本、较长传输时间等）。 虚拟专用网络（VPN） 是在用户的其他数据中心和公有云之间建立的一条符合行业标准的安全加密通信隧道，可将已有数据中心无缝扩展到公有云上。
7.3及其之后的版本 前提条件 已配置BMS集群间互相免密登录。 操作步骤 安装Spectrum MPI。 获取IBM Spectrum MPI软件包，需要进行注册。 获取的IBM Spectrum MPI软件包有两个，包括license和软件两部分： ibm_smpi_lic_s-10
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
