检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与其他服务的关系 对象存储服务OBS与周边服务的依赖关系如图1所示。 图1 对象存储服务OBS与其他服务的关系示意图 表1 与其他服务的关系 交互功能 相关服务 位置 通过相关服务将数据迁移到OBS 对象存储迁移服务(Object Storage Migration Service,OMS)
驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI基础大设施底座,让算力发展不要偏斜。 从过去的经典AI,到今天人人谈论的大模型,自动驾驶,我们看到AI模型的参数及
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时,会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生;如果使用外网访问,则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景,例如:文件同步/共享、企业备份等场景。与标准存储相比,低频访问存储有相
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
versionId String 否 参数解释: 待恢复归档或深度归档存储对象的版本号。 约束限制: 无 取值范围: 无 默认取值: 无,如果不设置则默认指定最新版本的对象。 请求消息头 该请求使用公共消息头,具体请参见表3。 请求消息元素 表1 请求消息元素表 元素名称 元素类型 是否必选
min,深度归档(受限公测)存储恢复约耗时3~5 h。 standard表示标准恢复对象,归档存储恢复耗时3~5 h,深度归档(受限公测)存储恢复约耗时5~12 h。 不设置该选项时,默认使用expedited模式。 versionId 附加参数,恢复单个cold存储对象时可选 待恢复cold存储对象的版本号。
长度大于0且不超过1024的字符串。 默认取值: 无 VersionId string 可选 参数解释: 待恢复归档存储或深度归档对象的版本号。 默认取值: 无,如果不设置则默认指定最新版本的对象。 Days number 必选 参数解释: 恢复对象后,会生成一个对象的标准存储副本,此参数指定恢复有效期,即标准存储副本的保存时间。
长度大于0且不超过1024的字符串。 默认取值: 无 versionId String 可选 参数解释: 待恢复归档或深度归档存储对象的版本号。 默认取值: 无,如果不设置则默认指定最新版本的对象。 days int 必选 参数解释: 恢复对象后,会生成一个对象的标准存储副本,此参数指定恢复有效期,即标准存储副本的保存时间。
长度大于0且不超过1024的字符串。 默认取值: 无 VersionId string 可选 参数解释: 待恢复归档或深度归档存储对象的版本号。 默认取值: 无,如果不设置则默认指定最新版本的对象。 Days int 必选 参数解释: 恢复对象后,会生成一个对象的标准存储副本,此参数指定恢复有效期,即标准存储副本的保存时间。
低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 StorageClassEnum.WARM 归档存储 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。 StorageClassEnum.COLD 深度归档存储 适用于长期不访问(平均几年访问一次)数据的业务场景。
不同。 取值范围: 恢复选项可选值详见恢复选项。 默认取值: 标准恢复 versionId str 可选 参数解释: 默认取值: 无,如果不设置则默认指定最新版本的对象。 extensionHeaders dict 可选 参数解释: 接口的拓展头域。 取值范围: 参考自定义头域。
string 可选 参数解释: 待恢复归档存储或深度归档对象的版本号。 约束限制: 无 取值范围: 长度为32的字符串。 默认取值: 无,如果不设置则默认指定最新版本的对象。 Days number 必选 参数解释: 恢复对象后,会生成一个对象的标准存储副本,此参数指定恢复有效期,即标准存储副本的保存时间。
事件订阅:存储接收到的事件消息,并根据事件规则将事件消息路由到事件目标。 事件模型:定义事件的结构。云服务事件源产生的所有事件都可以关联到事件网格提供的相应的云服务事件模型。对于自定义事件源产生的事件,您可以自定义事件模型。基于事件模型生成SDK,您可以通过编程实现快速消费事件。 事件目标:消费事件消息。
1MB),且需要频繁访问数据的业务场景。 ObsClient::StorageClassStandard 低频访问存储 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 ObsClient::StorageClassWarm 归档存储
望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训
创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于Notebook、训练作业、部署模型。专属资源池不与其他用户共享,更加高效。在使用专属资源池之前,您需要先创建一个专属资源池,操作指导请参考创建专属资源池。 父主题: 实施步骤
使用生命周期删除和转换对象存储类别的规则 本章节将介绍使用生命周期定时转换对象存储类别、删除对象的规则。 约束限制 归档和深度归档存储不支持多AZ,因此不支持使用生命周期将多AZ桶中对象的存储类别转化为归档或深度归档存储。 使用生命周期转换对象存储类别规则 图1 使用生命周期转换对象存储类别
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能