检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo文件系统的状态。'100'表示创建中,'200'表示可用,'303'表示创建失败,'800'表示实例被冻结。 sub_status String SFS Turbo文件系统的子状态。当用户未对文件系统有修改类操作时,该字段不返回。 '121'表示扩容中;'132'表示修改安全组中;'137'表示添加
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
每个账号最多可以创建多少个SFS Turbo文件系统? SFS Turbo文件系统单次只能创建一个。当需要创建多于20个SFS Turbo文件系统时请单击这里提交工单申请扩大配额。 目前每个账号最多可以创建20个SFS Turbo文件系统。 父主题: SFS Turbo规格类问题
Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。 SFS
Content-Type 是 String MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 update_hpc_cache 是 ReqUpdateHpcCacheInfo object 后端挂载信息 表4 ReqUpdateHpcCacheInfo 参数 是否必选
目录配额中描述的所有目录为SFS Turbo中的目录,与挂载点无关。 前提条件 已创建文件系统。更多信息,请参见创建文件系统。 已根据业务场景,完成挂载文件系统并创建了目录,或通过创建目录的API创建了目录。 使用限制 当前仅20MB/s/TiB、40MB/s/TiB、125MB/
Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。
登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击创建资源中创建的HPC型文件系统,进入文件系统详情页面。 进入页签“绑定后端存储”,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下表所示参数。 表1 绑定OBS桶配置参数 参数 含义 限制 配置后可编辑
Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
IAM用户若希望使用AK/SK访问SFS,必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在调用接口的时候,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 单击“管理访问密钥”。 在左侧导航栏单击“访问密钥”。
X-request-id String 请求ID 表5 响应Body参数 参数 参数类型 描述 count Integer 后端存储列表个数 targets Array of ShowBackendTargetInfoResponseBody objects 后端存储列表 表6 ShowBackendT
Turbo文件系统的状态。'100'表示创建中,'200'表示可用,'303'表示创建失败,'800'表示实例被冻结。 sub_status String SFS Turbo文件系统的子状态。当用户未对文件系统有修改类操作时,该字段不返回。 '121'表示扩容中;'132'表示修改安全组中;'137'表示添加
OneFsTaskResp objects 任务列表 表5 OneFsTaskResp 参数 参数类型 描述 task_id String 任务ID status String 任务状态, SUCCESS表示成功,DOING表示正在执行,FAIL表示失败 dir_usage FsDuInfo
Turbo可通过VPC对等连接建立与ECS的通信。 创建VPC。 参考“创建虚拟私有云基本信息及默认子网”章节创建VPC。 创建ECS。 参考“快速购买和使用Linux ECS”章节在华北-北京四购买ECS,同时将ECS归属到已创建的VPC下。 步骤一:创建SFS Turbo文件系统 文件系统是SFS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
快速使用备份恢复数据。 创建备份有以下方式: 方式一:在云备份控制台创建备份,详情请参见在云备份控制台创建备份操作步骤。 方式二:在高性能弹性文件服务控制台创建文件系统时创建备份,详情请参见创建文件系统。 方式三:在高性能弹性文件服务控制台操作列入口创建备份,详情请参见在高性能弹性文件服务控制台创建备份。
Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC:创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统:创建1个SFS
任务执行结果信息 状态码: 400 表7 响应Header参数 参数 参数类型 描述 X-request-id String 请求ID 表8 响应Body参数 参数 参数类型 描述 errCode String 错误码 errMsg String 错误描述 状态码: 500 表9 响应Header参数
5000条信息。 单击按钮,可以获取到事件操作记录的最新信息。 单击按钮,可以自定义事件列表的展示信息。启用表格内容折行开关,可让表格内容自动折行,禁用此功能将会截断文本,默认停用此开关。 关于事件结构的关键字段详解,请参见事件结构和事件样例。 (可选)在新版事件列表页面,单击右