检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo文件系统,请使用“创建文件系统异步任务”接口。该接口并发请求数过大可能会影响文件系统性能,建议同时提交的查询请求不要超过 4 个。查询超大目录耗时较久,请不要重复提交。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动
申请扩大配额 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
性能,详细介绍请参见文件系统类型。 已购买SFS Turbo停售规格的用户可以继续正常使用、续费、扩容和删除。 如您有任何问题,可随时通过提交工单解决。
资源池:专属资源池,选择创建资源中创建的ModelArts资源池。 SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,
录到OBS桶,则不用填写。 单击“确定”,提交导出任务。 数据导出功能会启动异步任务对导出目录内的文件进行扫描并导出,如果扫描时发现文件10s内发生过更新,则本次任务不会导出该文件。 对于一个文件的所有修改,导出到OBS桶之后,下次再提交该文件的导出任务时,如果该文件未发生过变化
Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC:创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统:创建1个SFS
Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交工单联系技术支持人员申请调大OBS服务的读写带宽。 父主题: 实施步骤
HPC缓存型文件系统的当前带宽。 目标带宽 扩容后HPC缓存型文件系统的新带宽大小。 根据业务需要,输入目标容量,单击“立即购买”。 确认资源无误后,单击“提交”。 根据页面提示支付成功后,可返回文件系统列表,单击该文件系统名称,确认扩容后的总容量。 按需计费的SFS Turbo文件系统扩容 登录高性能弹性文件服务管理控制台。
统提供的共享资源,客户端用户能够像使用本机一样对保存在存储系统中的文件进行读、写、创建等操作。Windows客户端建议使用SMB协议。 请提交工单申请 全部(白名单开放) 文件系统管理 文件系统是SFS Turbo中存储文件的容器。SFS Turbo提供创建、查看、删除等基本功能,帮助您便捷的进行文件系统管理。
region.dns”。 region为购买的终端节点所在的区域。 根据界面提示配置参数。 图1 购买终端节点(云服务-接口型) 选择“立即购买 > 提交”,完成创建。 查看连接DNS服务的终端节点创建完成后返回的节点IP。 在用户本地数据中心的DNS服务器配置相应的DNS转发规则,将解析SFS
ault。 请从下拉列表中选择所在的企业项目。 说明: 开通了企业项目的用户,或者权限为企业主账号的用户才可以看到控制台页面上方的“企业”入口。如需使用该功能,请联系您的客户经理申请开通。 名称 sfs-turbo-b6a6 用户自定义文件系统的名称。 说明: 只能由英文字母、数
对远端存储带宽的需求,加速大规模训练集群checkpoint快速恢复。 图2 加载checkpoint流程 安装AITurbo SDK 请提交工单获取AITurbo SDK的安装包huawei_aiturbo_xxx.whl(xxx为具体版本号信息),并上传到环境。 安装AITurbo
份操作步骤。 方式二:在高性能弹性文件服务控制台创建文件系统时创建备份,详情请参见创建文件系统。 方式三:在高性能弹性文件服务控制台操作列入口创建备份,详情请参见在高性能弹性文件服务控制台创建备份。 使用备份创建新文件系统有以下方式: 方式一:在云备份控制台使用备份创建新文件系统
理和优化。 成本分配 成本管理的基础是树立成本责任制,让各部门、各业务团队、各责任人参与进来,为各自消耗云服务产生的成本负责。企业可以通过成本分配的方式,将云上成本分组,归集到特定的团队或项目业务中,让各责任组织及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本
Turbo文件系统的HPC缓存型还可以按“带宽大小”来计费。了解每种计费项的计费因子、计费公式等信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。 续费 包年/包月高性能弹性文件服务在到期后会影响文件系统的正常运行。如果您想继续使用
云服务器上用于挂载文件系统的本地路径,例如“/local_path”。 图1 挂载地址 挂载文件系统时,更多性能调优的挂载参数,可参考表2配置,各参数之间以逗号进行分隔。例如: mount -t nfs -o vers=3,timeo=600,nolock,rsize=1048576,wsize=1048576