检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bucketname>"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY。
参数解释: 桶的数据冗余存储策略属性,即AZ类型。 取值为3az,表示数据冗余存储在同一区域的多个可用区。 不携带此头域表示为单az存储,仅使用1个可用区存储。 约束限制: 归档存储和深度归档存储不支持多AZ。如果桶所在区域不支持多AZ存储,则该桶的存储类型默认为单AZ。 取值范围:
12 13 14 // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。
// 指定存储桶的权限控制策略,此处以obs.AclPrivate为例。 input.ACL = obs.AclPrivate // 指定存储桶的存储类型,此处以obs.StorageClassWarm为例。如果未指定该参数,则创建的桶为标准存储类型。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS支持保存一个对象的多个版本,您可以利用多版本控制,在一个桶中保留多个版本的对象。 多版本功能可以方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。 在默认情况下,
于仅需要基础的加密能力的场景,以及批量加密的场景。 适用于需要用户保存和管理密钥的场景。 密钥管理 KMS服务生成和保管密钥,OBS使用密钥加密对象。 OBS服务生成和保管密钥,并使用密钥加密对象。 用户生成和保管密钥,OBS使用密钥加密对象。 数据加密算法 AES256、SM4
bucketname>"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY。
作)、Resource(资源)和Condition(条件)。其中Resource和Condition为可选。 Effect(效果) 作用包含两种:Allow(允许)和Deny(拒绝),系统预置策略仅包含允许的授权语句,自定义策略中可以同时包含允许和拒绝的授权语句,当策略中既有允许
@"your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。
@"your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。
STANDARD 标准存储。 标准存储拥有低访问时延和较高的吞吐量,适用于有大量热点对象(平均一个月多次)或小对象(<1MB),且需要频繁访问数据的业务场景。 ObsClient.enums.StorageClassWarm WARM 低频访问存储。 低频访问存储适用于不频繁访问(平
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
从源桶复制配置信息的操作为增量复制,不会删除当前桶已存在的配置信息,与已存在的配置信息冲突的规则不会复制。 源桶和目标桶的桶版本号都必须是3.0。 对象存储桶和并行文件系统之间可以相互复制,前提是该功能同时在对象存储桶和并行文件系统都支持。 使用方式 OBS支持通过控制台复制桶配置信息,不支持通过API、SDK、OBS
system”的文件系统,导致访问出错。 查看已购存储包。 区域选择后,“已购存储包”右侧会显示该区域已经购买的存储包类型及剩余容量,可根据存储包信息确认是否在该区域创建并行文件系统。 数据冗余存储策略:配置多AZ后,数据冗余存储至多个AZ中,可用性更高。 请根据业务情况提前规划
"https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。
又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速
OBS存储资源包使用超量后是否会限制对桶的写入 不会限制。 OBS桶具有“无限容量”,超出存储资源包部分会自动转为按需计费,或者您可以升配资源包、继续叠加购买资源包。叠加购买资源包的方法,请参考资源包叠加购买。 升配资源包的方法,请参考资源包升配。 父主题: 计费相关
x-obs-storage-class String 否 参数解释: 复制对象时,可以加上此头域设置目的对象的存储类型。如果未设置此头域,则以目的对象所在桶的默认存储类型作为对象的存储类型。 示例:x-obs-storage-class: STANDARD 约束限制: 设置该参数的值时请注意大小写敏感。
权限。 示例流程 图1 为IAM用户授权OBS资源权限 下面内容以配置IAM用户的对象存储服务“Tenant Guest”权限为例。 创建用户组并授权 在IAM控制台创建用户组,并授予对象存储服务“Tenant Guest”权限。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。