检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训
进行瘦身、缩放、添加水印等操作。 暂不支持服务端加密 暂不支持跨区域复制 暂不支持多版本控制 暂不支持配置桶清单 暂不支持配置静态网站托管 暂不支持配置桶默认存储类型 不支持深度归档,支持标准、低频和归档 暂不支持专属对象存储场景 暂不支持DWR数据工坊对接 并行文件系统可以挂载
rts √ √ 取消多段上传任务 取消多段上传任务 obs:object:AbortMultipartUpload √ √ 配置对象级WORM保护策略 配置对象级WORM保护策略 obs:object:PutObjectRetention √ √ 获取对象级WORM保护策略 获取对象元数据
从账户余额中扣除,而不使用资源包进行抵扣。 存储单个对象小于64KB按64KB计算,大于64KB按实际大小计算。 深度归档存储数据容量(受限公测) OBS中存储的深度归档存储数据所占用的存储空间容量。 存储时间小于180天按180天计算,大于180天按实际天数计算。早于180天删
典型场景配置案例 权限典型场景一览 对当前账号下单个IAM用户授权 对当前账号下多个IAM用户或用户群组授权 对其他账号授权 对所有账号授权 临时授权访问OBS 让IAM用户只能看到被授权的桶 限制指定的IP地址访问桶
SDK) 修改对象元数据(Python SDK) 设置对象ACL(Python SDK) 获取对象ACL(Python SDK) 恢复归档或深度归档存储对象(Python SDK)
存在于桶的根目录下,其链接地址将不会有文件夹目录层级。如果您想了解域名是什么,请参见OBS域名。 图1 对象链接 对于存储类别为归档存储或深度归档存储的对象,如果要让匿名用户通过URL访问,则需要先确认对象的状态是否为“已恢复”。 父主题: 管理对象
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。桶的存储类型分为三类,见下表:
允许再配置第二条,因为前后缀均为空表示对所有对象生效。 例如:针对Put事件,已存在一条EG事件通知策略A,定义的前缀是“abcd”,后缀是“.txt”。如果要创建另外一条针对Put事件的EG事件通知策略B,则策略B配置不同前后缀的结果如表1所示。 表1 策略B前后缀配置场景及结果
ect:GetObject权限,如果使用桶策略则需授予GetObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 拥有对象读权限的用户可以
bject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 对于存储类别为归档存储或深度归档存储的对象,需要确认对象的状态为“已恢复”才能对其进行下载。
过OBS权限进行配置,只能在IAM权限中配置,OBS权限只能作用于资源级(桶和对象)。如果要同时授予OBS服务级权限和资源级权限,必须使用IAM权限,或者IAM权限与OBS权限结合使用。 图2 OBS权限与IAM权限的关系 OBS权限控制要素 OBS的权限控制模型中,以下几个要素共同决定了授权的结果:
每个桶都有自己的存储类别、访问权限、所属区域等属性,用户可以在不同区域创建不同存储类别和访问权限的桶,并配置更多高级属性来满足不同场景的存储诉求。 对象存储服务设置有四类桶存储类别,分别为:标准存储、低频访问存储、归档存储、深度归档存储(受限公测),从而满足客户业务对存储性能、成本的不同诉求。创建桶时可以
配置桶ACL 前提条件 配置桶ACL的账号需要是桶 的拥有者,或者具备该桶的ACL写权限。 使用方式 OBS支持通过控制台、API、SDK、OBS Browser+、obsutil方式配置桶ACL。 使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制
对象存储与专属对象存储的收费不同,具体请参见产品价格详情。 功能限制 暂不支持并行文件系统 暂不支持多AZ 暂不支持低频存储、归档存储和深度归档存储 暂不支持归档数据直读 暂不支持碎片管理 暂不支持企业项目 暂不支持跨区域复制 暂不支持图片处理 暂不支持Data+(该功能已下线)
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能
不携带此头域表示为单az存储,仅使用1个可用区存储。 约束限制: 归档存储和深度归档存储不支持多AZ。如果桶所在区域不支持多AZ存储,则该桶的存储类型默认为单AZ。 取值范围: 如果桶配置为多AZ,则返回值为“3az”。如果桶配置为单AZ,则返回值为None。 默认取值: 无 Access-Control-Allow-Origin
Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进
可以 不可以 不可以 不可以 OBS控制台功能依赖的权限 表3 OBS控制台依赖服务的角色或策略 控制台功能 依赖服务 需配置角色/策略 获取已有域名列表(在配置自定义域名和加速域名时,获取在华为云已有的域名列表) 域名注册服务 Domains 需要增加Domains:domain
S权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 当桶开启多版本控制时,最新版本的对象支持设置元数据,历史版本的对象不支持设置元数据。 对于存储类别为归档或深度归档存储的对象,不能对其设置对象的元数据。