检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与其他服务的关系 对象存储服务OBS与周边服务的依赖关系如图1所示。 图1 对象存储服务OBS与其他服务的关系示意图 表1 与其他服务的关系 交互功能 相关服务 位置 通过相关服务将数据迁移到OBS 对象存储迁移服务(Object Storage Migration Service,OMS)
大运力”的AI基础大设施底座,让算力发展不要偏斜。 从过去的经典AI,到今天人人谈论的大模型,自动驾驶,我们看到AI模型的参数及AI算力规模呈现出指数级的爆发增长,对存储基础设施也带来全新的挑战。 高吞吐的数据访问挑战:随着企业使用 GPU/NPU 越来越多,底层存储的 IO 已
象副本的存储费用。 按需计费 产品定价 详细的服务资费费率标准请参见产品价格详情中“对象存储服务”的内容。 计费示例 以下示例中出现的费用价格仅供参考,实际价格请参见产品价格详情中“对象存储服务”的内容。 假设某用户于2023年7月1日上传了一个10GB低频存储单AZ类型的数据至华北-北京四的
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
对象是OBS中数据存储的基本单位,一个对象实际是一个文件的数据与其相关属性信息的集合体,包括Key、Metadata、Data三部分: Key:键值,即对象的名称,为经过UTF-8编码的长度大于0且不超过1024的字符序列。一个桶里的每个对象必须拥有唯一的对象键值。 Metada
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 桶的存储类别与桶中对象的存储类别是相互独立的。如果上传对象时,未设置对象的存储类别,该对象默认与桶的存储类别一致,但后续如果修改桶的存储类别,已上传的桶中对象的存储类别不会随
事件订阅:存储接收到的事件消息,并根据事件规则将事件消息路由到事件目标。 事件模型:定义事件的结构。云服务事件源产生的所有事件都可以关联到事件网格提供的相应的云服务事件模型。对于自定义事件源产生的事件,您可以自定义事件模型。基于事件模型生成SDK,您可以通过编程实现快速消费事件。 事件目标:消费事件消息。 约束与限制
象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。桶的存储类型分为三类,见下表: 类型 说明 OBS PHP SDK对应值
HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS
归档存储->深度归档存储 执行生命周期规则时,OBS依据桶的多版本状态执行的转换操作如下: 未开启多版本的桶 开启多版本的桶 暂停多版本的桶 当桶未开启多版本时,您可以使用生命周期转换桶内对象的存储类别,此时每个对象只有一个版本。 表1 转换未开启多版本桶的对象存储类别 操作类别 操作效果 计时起点
为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS
如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。 该接口可以恢复指定桶中的归档或深度归档存储对象。
如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间到期后标准存储类型的对象副本会自动删除。 该接口可以恢复指定桶中的归档或深度归档存储对象。
资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 重复恢复归档或深度归档存储对象时在延长恢复有效期的同时,也将会对恢复时产生的恢复费用进行重复收取。产生的标准存储类别的对象副本有效期将会延长,并且收取延长时间段产生的标准存储副本费用。 ObsClient
对象和初始化多段上传任务时未指定对象的存储类型,则该对象的存储类型取桶的默认存储类型。 未配置桶的默认存储类型时,桶的默认存储类型为STANDARD(标准存储)。 请求消息样式 1 2 3 4 5 6 7 8 9 PUT /?storageClass HTTP/1.1 Host:
件文系统的容量。 在弹出对话框中确认容量调整信息后,单击“是”。 在文件系统列表中查看文件系统调整后的容量信息。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽
户业务对存储性能、成本的不同诉求。创建桶时可以指定桶的存储类别,桶的存储类别可以修改。 在OBS中,桶名必须是全局唯一的且不能修改,即用户创建的桶不能与自己已创建的其他桶名称相同,也不能与同账号、其他账号及账号下的所有IAM子用户创建的桶名称相同。桶所属的区域在创建后也不能修改。
删除对象操作会同步复制到跨区复制的桶中吗? 不会,删除操作不同步。 启用跨区域复制规则后,符合以下条件的对象会复制到目标桶中: 新上传的对象(归档存储或深度归档存储对象除外)。 有更新的对象,比如对象内容有更新,或者某一对象跨区域复制成功后源桶对象ACL设置有更新。 桶中的历史对象(需要开启“