检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤3:挂载文件系统 步骤4:卸载文件系统 05 实践 您可以使用弹性文件系统作为数据存储,满足不同场景的业务需求。 典型应用举例 HPC 媒体处理 企业网站/APP后台 日志打印 06 API 通过弹性文件服务开放的丰富API和调用示例,您可以对文件系统进行创建、查询、删除、更新等操作。 API文档
高吞吐能力,请提交工单申请,最高可达20 GBps) 125MB/s/TiB、250MB/s/TiB:20GB/s(如需提高吞吐能力,请提交工单申请,最高可达100 GBps) 500MB/s/TiB、1000MB/s/TiB:80GB/s(如需提高吞吐能力,请提交工单申请,最高可达200
Value_0001 参数配置完成,单击“立即购买”,进行规格确认。 规格确认无误,单击“提交”,任务提交成功。 参数信息配置有误,需要修改,单击“上一步”,修改参数,然后单击“提交”。 返回终端节点列表,如果终端节点状态为“已接受”,表示终端节点已成功连接至终端节点服务。 图3
Turbo文件系统,请使用“创建文件系统异步任务”接口。该接口并发请求数过大可能会影响文件系统性能,建议同时提交的查询请求不要超过 4 个。查询超大目录耗时较久,请不要重复提交。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动
性能,详细介绍请参见文件系统类型。 已购买SFS Turbo停售规格的用户可以继续正常使用、续费、扩容和删除。 如您有任何问题,可随时通过提交工单解决。
申请扩大配额 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,
录到OBS桶,则不用填写。 单击“确定”,提交导出任务。 数据导出功能会启动异步任务对导出目录内的文件进行扫描并导出,如果扫描时发现文件10s内发生过更新,则本次任务不会导出该文件。 对于一个文件的所有修改,导出到OBS桶之后,下次再提交该文件的导出任务时,如果该文件未发生过变化
Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC:创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统:创建1个SFS
Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交工单联系技术支持人员申请调大OBS服务的读写带宽。 父主题: 实施步骤
Value_0001 参数配置完成,单击“立即购买”,进行规格确认。 规格确认无误,单击“提交”,任务提交成功。 参数信息配置有误,需要修改,单击“上一步”,修改参数,然后单击“提交”。 返回终端节点列表,如果终端节点状态为“已接受”,表示终端节点已成功连接至终端节点服务。 图5
pathlib2 PyYAML 安装AITurbo SDK,checkpoint的保存和加载优化依赖于AITurbo SDK,安装包的下载地址请提交工单获取。 父主题: 加速保存与加载checkpoint
region.dns”。 region为购买的终端节点所在的区域。 根据界面提示配置参数。 图1 购买终端节点(云服务-接口型) 选择“立即购买 > 提交”,完成创建。 查看连接DNS服务的终端节点创建完成后返回的节点IP。 在用户本地数据中心的DNS服务器配置相应的DNS转发规则,将解析SFS
文件系统访问协议。通过CIFS协议,可实现Windows系统主机之间的网络文件共享。Windows客户端建议使用CIFS协议。 √ √ 请提交工单申请 × 配置多VPC访问 可以为文件系统配置多个VPC,以使归属于不同VPC的云服务器,只要所属的VPC被添加到文件系统的VPC列表
HPC缓存型文件系统的当前带宽。 目标带宽 扩容后HPC缓存型文件系统的新带宽大小。 根据业务需要,输入目标容量,单击“立即购买”。 确认资源无误后,单击“提交”。 根据页面提示支付成功后,可返回文件系统列表,单击该文件系统名称,确认扩容后的总容量。 按需计费的SFS Turbo扩容 登录管理控制台,选择“存储