检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo文件系统,请使用“创建文件系统异步任务”接口。该接口并发请求数过大可能会影响文件系统性能,建议同时提交的查询请求不要超过 4 个。查询超大目录耗时较久,请不要重复提交。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动
申请扩大配额 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。 父主题: 数据管理
资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,
录到OBS桶,则不用填写。 单击“确定”,提交导出任务。 数据导出功能会启动异步任务对导出目录内的文件进行扫描并导出,如果扫描时发现文件10s内发生过更新,则本次任务不会导出该文件。 对于一个文件的所有修改,导出到OBS桶之后,下次再提交该文件的导出任务时,如果该文件未发生过变化
Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC:创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统:创建1个SFS
Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交工单联系技术支持人员申请调大OBS服务的读写带宽。 父主题: 实施步骤
ault。 请从下拉列表中选择所在的企业项目。 说明: 开通了企业项目的用户,或者权限为企业主账号的用户才可以看到控制台页面上方的“企业”入口。如需使用该功能,请联系您的客户经理申请开通。 名称 sfs-turbo-b6a6 用户自定义文件系统的名称。 说明: 只能由英文字母、数
HPC缓存型文件系统的当前带宽。 目标带宽 扩容后HPC缓存型文件系统的新带宽大小。 根据业务需要,输入目标容量,单击“立即购买”。 确认资源无误后,单击“提交”。 根据页面提示支付成功后,可返回文件系统列表,单击该文件系统名称,确认扩容后的总容量。 按需计费的SFS Turbo文件系统扩容 登录高性能弹性文件服务管理控制台。
region.dns”。 region为购买的终端节点所在的区域。 根据界面提示配置参数。 图1 购买终端节点(云服务-接口型) 选择“立即购买 > 提交”,完成创建。 查看连接DNS服务的终端节点创建完成后返回的节点IP。 在用户本地数据中心的DNS服务器配置相应的DNS转发规则,将解析SFS
统提供的共享资源,客户端用户能够像使用本机一样对保存在存储系统中的文件进行读、写、创建等操作。Windows客户端建议使用SMB协议。 请提交工单申请 全部(白名单开放) 文件系统管理 文件系统是SFS Turbo中存储文件的容器。SFS Turbo提供创建、查看、删除等基本功能,帮助您便捷的进行文件系统管理。
pathlib2 PyYAML 安装AITurbo SDK,checkpoint的保存和加载优化依赖于AITurbo SDK,安装包的下载地址请提交工单获取。 父主题: 加速保存与加载checkpoint