检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响
单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时不等。要查看训练作业实时情况,您可以前往训练作业列表,查看训练作业的基本情况。
印后的图片存储在目标桶。如果您已有源桶和目标桶,请跳至步骤二:创建函数。 由于归档存储和深度归档存储类别的桶,需要先手动恢复才能下载和通过URL访问对象,因此本实践暂不支持使用归档存储和深度归档存储类别的桶。 登录控制台,进入创建桶页面。 在创建桶页面,按照下表说明配置相关参数,
LastModified string 参数解释: 对象的最近一次修改时间。 约束限制: 日期格式必须为ISO8601的格式。 例如:2018-01-01T00:00:00.000Z,表示最后一次修改时间为2018-01-01T00:00:00.000Z。 默认取值: 无 ETag
number 参数解释: 桶CORS规则中的MaxAgeSeconds。MaxAgeSeconds指请求来源的客户端可以对跨域请求返回结果的缓存时间。 约束限制: 每个CORS规则可以包含至多一个MaxAgeSeconds。 取值范围: 0~(231-1),单位:秒。 默认取值: 100,单位:秒。
0003 连接超时。 Obs.0004 客户端与服务器的时间相差大于15分钟。 出于安全目的,OBS会校验客户端与OBS服务器的时间差,当该时间差大于15分钟时,OBS服务器会拒绝您的请求,从而出现此报错。请根据本地UTC时间调整本地时间后再访问。 Obs.0005 服务器负载过高,请稍后重试。
适用于很少访问(平均一年访问一次)数据的业务场景。 deep-archive:深度归档存储(受限公测),适用于长期不访问(平均几年访问一次)数据的业务场景,其成本相比归档存储更低,但相应的数据恢复时间将更长,一般为数小时。 location 附加参数,如果请求的OBS服务地址所在区域为默认区域,则可为空,否则为必选
适用于很少访问(平均一年访问一次)数据的业务场景。 deep-archive:深度归档存储(受限公测),适用于长期不访问(平均几年访问一次)数据的业务场景,其成本相比归档存储更低,但相应的数据恢复时间将更长,一般为数小时。 location 附加参数,如果请求的OBS服务地址所在区域为默认区域,则可为空,否则为必选
DEEP_ARCHIVE 深度归档存储(受限公测) 适用于长期不访问(平均几年访问一次)数据的业务场景 表9 Part 参数名称 参数类型 描述 PartNumber number 参数解释: 段号。 LastModified string 参数解释: 目标段的最近一次修改时间(UTC时间)。 ETag
获取对象的元数据信息。包括对象的过期时间、版本号、CORS配置等信息。 删除对象 删除指定的对象。也可以携带versionId删除指定版本的对象。 批量删除对象 将一个桶内的一部分对象一次性删除,删除后不可恢复。 恢复归档存储或深度归档存储对象 将归档存储和深度归档(受限公测)存储对象的内容恢复,恢复后才能下载。
LastModified string 参数解释: 目标段的最近一次修改时间(UTC时间)。 约束限制: 日期格式必须为ISO8601的格式。 例如:2018-01-01T00:00:00.000Z,表示最后一次修改时间为2018-01-01T00:00:00.000Z。 默认取值: 无
DEEP_ARCHIVE 深度归档存储(受限公测) 参数解释: 深度归档存储适用于长期不访问(平均几年访问一次)数据的业务场景。 表5 DateTime 参数名称 参数类型 描述 year int 参数解释: UTC时间中的年。 默认取值: 无 month int 参数解释: UTC时间中的月。 默认取值:
time.Time 可选 参数解释: 如果对象在指定的时间后有修改,则返回对象内容,否则返回错误。 约束限制: 日期格式必须为ISO8601的格式。 例如:2018-01-01T00:00:00.000Z,表示如果最后修改时间晚于2018-01-01T00:00:00.000Z则返回对象内容,否则返回错误。
适用于很少访问(平均一年访问一次)数据的业务场景。 deep-archive:深度归档存储(受限公测),适用于长期不访问(平均几年访问一次)数据的业务场景,其成本相比归档存储更低,但相应的数据恢复时间将更长,一般为数小时。 location 附加参数,如果请求的OBS服务地址所在区域为默认区域,则可为空,否则为必选
桶的默认存储类型。 约束限制: 无 取值范围: STANDARD(标准存储) WARM(低频访问存储) COLD(归档存储) DEEP_ARCHIVE(深度归档存储) 默认取值: 无 x-obs-version String 参数解释: 桶所在的OBS服务版本号。 约束限制: 无 取值范围: 3
x-obs-expires Integer 否 参数解释: 表示对象的过期时间,单位是天。过期之后对象会被自动删除。(从对象最后修改时间开始计算) 示例:x-obs-expires:3 约束限制: 设置的天数计算出的过期时间不能早于当前时间,如10天前上传的对象,不能设置小于10的值。 取值范围:
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 推荐使用随机前缀对象
量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS
在OBS管理控制台左侧导航栏选择“资源包管理”。 选择所要查看的资源包所属区域和类型,查看对应资源包的详细信息。 包括资源包规格、所属区域、状态、剩余容量、起止时间、订单号和使用明细。 图1 查看资源包详情 查看资源包剩余量 OBS提供按需付费和包年包月两种计费模式。 在按需付费的场景下,用多少付多少
本次清单文件时开始扫描存储桶的开始时间和日期,清单文件中可能不会生成在此时间之后上传的对象。 UUID_index.csv:清单文件之一。 manifest文件 当桶内对象很多的时候,单条清单配置可能会生成多个清单文件,生成清单文件需要一定时间。例如,桶内有20万个对象时,生成所有清单文件需要约1