检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大运力”的AI基础大设施底座,让算力发展不要偏斜。 从过去的经典AI,到今天人人谈论的大模型,自动驾驶,我们看到AI模型的参数及AI算力规模呈现出指数级的爆发增长,对存储基础设施也带来全新的挑战。 高吞吐的数据访问挑战:随着企业使用 GPU/NPU 越来越多,底层存储的 IO 已
足剩余天数的低频存储费用。 标准存储->深度归档存储 存储费用 转换为深度归档存储后,按深度归档存储计算存储费用。 低频访问存储->深度归档存储 存储费用 转换为深度归档存储后,按深度归档存储计算存储费用。 当低频访问存储早于30天转换为深度归档存储,需要补足剩余天数的低频存储费用。
与其他服务的关系 对象存储服务OBS与周边服务的依赖关系如图1所示。 图1 对象存储服务OBS与其他服务的关系示意图 表1 与其他服务的关系 交互功能 相关服务 位置 通过相关服务将数据迁移到OBS 对象存储迁移服务(Object Storage Migration Service,OMS)
对象是OBS中数据存储的基本单位,一个对象实际是一个文件的数据与其相关属性信息的集合体,包括Key、Metadata、Data三部分: Key:键值,即对象的名称,为经过UTF-8编码的长度大于0且不超过1024的字符序列。一个桶里的每个对象必须拥有唯一的对象键值。 Metada
恢复归档或深度归档存储对象 功能介绍 如果要获取归档存储或深度归档对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储类型的对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
说明: 跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败的也可能是成功的,需要根据成功或失败的结果清单进一步判断。 产生警告的任务数与成功/失败任务数是相互独立的,总任务数仍是成功的任务数+失败的任务数。
恢复归档或深度归档存储对象(Go SDK) 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
恢复归档或深度归档存储对象(Harmony SDK) 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
恢复归档或深度归档存储对象(Python SDK) 功能说明 归档要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。
策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 重复恢复归档或深度归档存储对象时在延长恢复有效期的同时,也将会对恢复时产生的恢复费用进行重复收取。产生的标准存储类别的对象副本有效期将会延长,并且收取延长时间段产生的标准存储副本费用。 ObsClient
对象和初始化多段上传任务时未指定对象的存储类型,则该对象的存储类型取桶的默认存储类型。 未配置桶的默认存储类型时,桶的默认存储类型为STANDARD(标准存储)。 请求消息样式 1 2 3 4 5 6 7 8 9 PUT /?storageClass HTTP/1.1 Host:
访问低频访问存储类别的对象时,会根据对象大小产生额外的数据恢复费用。 访问归档存储类别的对象时,会根据对象大小和设置的恢复速度级别产生额外的数据恢复费用。 访问深度归档存储类别的对象时,会根据对象大小和设置的恢复速度级别产生额外的数据恢复费用。 此项费用不管通过内、外网访问均会产生;如
存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。 该接口可以恢复指定桶中的归档存储对象。 接口约束 您必须是桶拥有者或拥有恢复归档或深度归档存储对象的权限,才能恢复归档或深度归档存储
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 桶的存储类别与桶中对象的存储类别是相互独立的。如果上传对象时,未设置对象的存储类别,该对象默认与桶的存储类别一致,但后续如果修改桶的存储类别,已上传的桶中对象的存储类别不会随
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
建议您开启桶日志,一段时间后分析日志中记录的请求IP等信息,如果请求IP固定且不需要该IP访问对象,可通过设置桶策略,拒绝请求来源的IP访问桶。具体请参见限制指定的IP地址访问桶。 设置防盗链(白名单或黑名单访问) 针对账单中请求量较大的时间点,查询该时间点对应的日志,过滤出请求来源的Referer字段信息,设置防盗链。
对象生命周期到期以后,对象将会永久删除,无法恢复。 归档存储和深度归档存储不支持多AZ,因此不支持使用生命周期的存储类别转换功能,将多AZ的桶或对象转化为归档或深度归档存储。 低频访问存储的最低存储时间为30天,归档存储的最低存储时间为90天,深度归档存储的最低存储时间为180天。若对象经过转换,归
桶名称 桶的名称 桶类型 对象存储 还是 并行文件系统。 区域 桶所在的区域。 存储类别 桶的存储类别,有标准存储、低频访问存储、归档存储三种类别。 桶版本号 桶的版本号。 存储用量 桶中存储的对象占用的存储空间。 对象数量 桶中存储的对象数量。 多AZ 多AZ功能的状态。 开启多AZ后,数据冗余存储至多个AZ中。
标准存储->低频访问存储、归档存储、深度归档存储 低频访问存储->归档存储、深度归档存储 归档存储->深度归档存储 执行生命周期规则时,OBS依据桶的多版本状态执行的转换操作如下: 未开启多版本的桶 开启多版本的桶 暂停多版本的桶 当桶未开启多版本时,您可以使用生命周期转换桶内对象的存储类别,此时每个对象只有一个版本。