检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RoCE网络问题 dtest或rping打流测试网络双向不通问题 问题现象： dtest/rping打流测试网络双向不通问题：A机器作为Server端，B机器作为Client端，dtest/rping测试RoCE网络异常；调换A、B机器角色，B机器作为Server端，A机器作为C
over InfiniBand），指利用物理IB网络（包括服务器上的IB卡、IB连接线、IB交换机等）通过IP协议进行连接，并进行数据传输。 它提供了基于RDMA之上的IP网络模拟层，允许应用无修改的运行在InfiniBand网络上。但是，IPoIB性能比RDMA通信方式性能要低
系统盘：超高I/O，40GB 设置网络，包括“虚拟私有云”、“安全组”、“网卡”、“弹性IP”等信息。 第一次使用公有云服务时，系统将自动为您创建一个虚拟私有云，包括安全组、网卡。 表2 参数说明 参数 解释 取值样例 虚拟私有云 弹性云服务器网络使用虚拟私有云（VPC）提供的网络，包括子网、安全组等。
这些好处都是基于融合以太网的特性，但是RoCE协议也可以使用在传统以太网网络或者非融合以太网络中。 应用场景 网络密集型应用，例如存储或者集群计算等，需要网络支持大带宽和低时延特性。RDMA的优势相比其他网络应用程序接口，例如Berkeley接口，就是低时延，低CPU负载和大带宽
plication programming interface）方式。 前提条件 已确保Linux云服务器网卡设置为DHCP的方式动态获取网络地址。 已清理Linux云服务器中的udev配置规则。 已安装并配置Cloud-init工具。 已卸载Linux云服务器中挂载的所有数据盘。
是一种海量数据传输服务，它使用物理存储介质（USB或eSATA接口）向华为公有云传输大量数据。解决了海量数据在互联网上传输的难题（高昂网络带宽成本、较长传输时间等）。 虚拟专用网络（VPN） 是在用户的其他数据中心和公有云之间建立的一条符合行业标准的安全加密通信隧道，可将已有数据中心无缝扩展到公有云上。
自定义购买ECS 虚拟私有云（VPC） 同一个HPC场景的云服务器，都位于同一个VPC中，并且需要使用VPC中的子网和安全组进行相关的网络安全隔离。 创建虚拟私有云和子网 修改虚拟私有云基本信息 镜像服务（IMS） 可以使用公共镜像、私有镜像、共享镜像创建高性能计算的云服务器。
靠近您业务的区域，可减少网络时延，提高访问速度。 选择“可用区”。 可用区指在同一区域下，电力、网络隔离的物理区域，可用区之间内网互通，不同可用区之间物理隔离。 如果您需要提高应用的高可用性，建议您将弹性云服务器创建在不同的可用区。 如果您需要较低的网络时延，建议您将弹性云服务器创建在相同的可用区。
弹性IP选择“现在购买”时，需配置该参数。 全动态BGP：可以根据设定的寻路协议实时自动优化网络结构，以保持客户使用的网络持续稳定、高效。 静态BGP：网络结构发生变化时，无法实时自动调整网络设置以保障用户体验。 计费方式 弹性IP选择“现在购买”时，需配置该参数。 按带宽计费：指
内核旁路：内核协议栈旁路技术使应用程序无需执行内核内存调用就可向网卡发送命令。在不需要任何内核内存参与的条件下，RDMA请求从用户空间发送到本地网卡并通过网络发送给远程网卡，这就减少了在处理网络传输流时内核内存空间与用户空间之间环境切换的次数。 没有CPU参与：应用程序可以访问远程内存，而不占用远程机器中的任何C
Scheduler）调度器的自动化部署，使用HPC-S²控制台可以方便的对集群、节点以及共享存储进行查看以及管理操作。 如图1所示，通过HPC-S²控制台用户可以管理多个VPC网络下的多个集群。 图1 HPC-S²架构示意图 HPC-S²功能简介 HPC-S²主要面向对大规模计算有需求的企事业单位，使用HPC-S²控
单击“部署HPC集群”。 系统进入部署HPC集群页面。 选择“区域”。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 设置集群名称。 名称可自定义，但需符合命名规则。集群名称命名规则如表1所示。 表1 集群名称命名规则 参数 规则 样例
提供按需扩展的高性能文件存储。 华为 1 以华为云管理控制台显示为准。 6 虚拟私有云（VPC） 为云服务器等云上资源构建隔离、私密的虚拟网络环境。 华为 1 以华为云管理控制台显示为准。 7 云硬盘（EVS） 为ECS、BMS等计算服务提供持久性块存储的服务。 华为 >1 以华为云管理控制台显示为准。
验证MPI运行在RoCE网络上 执行以下命令，安装iproute2。 yum -y install iproute* 执行以下命令，查看RoCE上是否有流量。 rdma res show 若MPI运行中，回显结果中qp 数量较大（大于1），则证明运行在 RoCE 网络上： 无业务时 有业务时
常见问题 RoCE网络问题 STAR-CCM+启动相关问题 父主题： 附录
新增节点的规格配置。 规格：公有云提供了多种类型的弹性云服务器供您选择，单击下拉框进行选择； 系统盘：根据所需要的选择磁盘类型和大小； 网络配置。 集群扩容时，网络配置包括“虚拟私有云”、“安全组”以及“网卡”不可选，和集群初始创建时保持一致。 选择“镜像”。 推荐使用公共镜像，其他类型镜像可能出现扩容时自动部署失败的情况。
要，选择"HPC型"或"HPC缓存型"文件系统类型。 图2 选择文件系统类型 3.在"创建文件系统"界面的"选择网络"选项中，需注意与购买的弹性云服务器选择相同的网络配置。 4.在"创建文件系统"界面的其他选项中请您根据业务需要，按需填写即可，填写完成后点击购买，完成创建。 图3
题，管理节点对计算任务进行分解，交给不同的计算节点完成计算。 各种业务场景下，因数据处理量、计算任务关联关系等不同，对计算能力、存储效率、网络带宽及时延要求有各自侧重。 HPC的应用场景 HPC提供了超高浮点计算能力解决方案，可用于解决计算密集型、海量数据处理等业务的计算需求，如
需要使用该配置名称。 enp177s0为网卡名称，可以使用ip a或者ipconfig查看到。 验证Udapl（使用dtest测试RoCE网络） 使用 dtest 进行验证： server端（192.168.0.96）：dtest -P ofa-v2-cma-roe-enp177s0
0rc6/tests/imb/IMB-MPI1 PingPong 在两个节点的集群间运行Intel MPI benchmark，在RDMA网络下，最低时延应该在1.5 us（microseconds）以内： #-----------------------------------
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
