检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提升Linux操作系统单客户端访问SFS Turbo的性能 操作场景 nconnect是Linux操作系统下NFS客户端的挂载参数,开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高
配置多账号访问 操作场景 SFS Turbo文件系统基于VPC的对等连接功能,实现跨账号访问。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 使用限制 一个文件系统最多可以添加20个可用的VPC,对于添加的VPC所创建的ACL规则总和不能超过400个。 如果已经在
配额、扩大配额,具体请参见“配额”。 更详细的限制请参见具体API的说明。 通用文件系统API只支持内网调用,不支持公网调用。 父主题: 使用前必读
生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 方案架构 针对AI训练场景中面临的
如何查看SFS容量型资源包的使用量? 操作步骤 登录弹性文件服务控制台。 单击右上角“费用 > 我的套餐”,如图1所示。 图1 选择我的套餐 可以看到列表中显示资源包购买情况。单击资源包详情,单击目标资源包“操作”列下“使用详情”可以看到各个资源包的使用情况,如图2所示。 图2 查看资源包使用详情 可以看到资源包的使用量,如图3所示。
如何查看SFS容量型资源包的使用量? 操作步骤 登录弹性文件服务控制台。 单击右上角“费用 > 我的套餐”,如图1所示。 图1 选择我的套餐 可以看到列表中显示资源包购买情况。单击资源包详情,单击目标资源包“操作”列下“使用详情”可以看到各个资源包的使用情况,如图2所示。 图2 查看资源包使用详情 可以看到资源包的使用量,如图3所示。
til命令行工具使用指导。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。
签名计算工具 SFS提供可视化签名计算工具,帮助您轻松完成签名计算。 表1 签名计算工具 签名计算方式 签名计算工具获取地址 Header中携带签名 可视化签名计算工具 若调用SFS API报如下错误: 状态码:403 Forbidden 错误码:SignatureDoesNotMatch
监控安全风险 SFS提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的文件存储系统的使用情况,执行自动实时监控、告警和通知操作。用户可以实时监控弹性文件服务的客户端连接数、带宽、IOPS、容量等信息。 关于SFS支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。
企业项目 文件系统归属的企业项目。 挂载地址 文件系统的挂载地址,NFS类型的格式为:文件系统域名:/路径,或文件系统IP:/,或域名地址:/;CIFS类型的格式为:\\文件系统域名\路径。 说明: 由于挂载地址名称较长,需要拉宽该栏以便完整显示。 标签 通用文件系统的标签信息。
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询弹性文件服务的终端节点。 父主题: 使用前必读
(AZ)挂载。 SFS Turbo不支持跨区域(Region)挂载;但可以通过使用云连接CC“跨区域VPC互通”方案将不同区域的vpc内网打通,从而采取指定IP的方式跨区域(Region)挂载。 当使用SFS Turbo文件系统进行同区域下跨可用区挂载或者跨区域挂载时,由于跨可用
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
址。 原因4:使用虚拟IP访问弹性文件服务。 登录弹性云服务器,使用云服务器IP执行ping命令访问弹性文件服务,检测是否可以连通。如图1所示。 是 => 网络问题已解决,排查其他可能原因。 否 => 由于网络问题,使用云服务器虚拟IP无法访问弹性文件服务,需使用私有IP执行pi
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
I训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤