检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 桶存量信息包括桶已使用的空间大小以及桶包含的对象个数。 您可以通过ObsClient.GetBucketStorageInfo获取桶的存量信息。 本示例用于获取桶名为“bucketname”的存量信息。
提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.SetBucketCors设置桶的跨域规则,如果原规则存在则覆盖原规则。 本示例用于设置桶名为“bucketname”的跨域规则。 代码示例如下所示:
桶的高级配置 设置桶策略 获取桶策略 删除桶策略 设置桶ACL 获取桶ACL 设置桶日志管理配置 获取桶日志管理配置 设置桶的生命周期配置 获取桶的生命周期配置 删除桶的生命周期配置 设置桶的多版本状态 获取桶的多版本状态 设置桶默认存储类型 获取桶默认存储类型 设置桶的跨区域复制配置
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS为用户提供了稳定、安全、高效、易用、低成本的图片处理服务。当要下载的对象是图片文件时,您可以通过传入图片处理参数对图片文件进行图片剪
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
NSLog(@"%@",response); }]; 重复恢复归档存储数据时在延长恢复有效期的同时,也将会对恢复时产生的恢复费用进行重复收取。产生的标准存储类别的对象副本有效期将会延长,并且收取延长时间段产生的标准存储副本费用。 父主题: 多版本控制
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS为用户提供了稳定、安全、高效、易用、低成本的图片处理服务。当要下载的对象是图片文件时,您可以通过传入图片处理参数对图片文件进行图片剪
OBS中的数据可以让其他用户访问吗? 可以。 对于桶,可以通过桶ACL和桶策略授予其他用户桶的读取权限,其他用户即可访问该桶。 对于对象,可以通过对象ACL,对象策略和桶策略来授予其他用户对象的读取权限,或者设置对象分享功能,其他用户即可访问该对象。 父主题: 产品咨询
览器的规范机制,定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中,由于同源安全策略(Same Origin Policy,SOP)的存在,不同域之间的网站脚本和内容是无法进行交互的。OBS支持CORS规范,允许跨域请求访问OBS中的资源。
如果有桶的写权限,则可以上传、覆盖和删除该桶内任何对象。 此权限在对象上不适用。 ObsClient.enums.PermissionWrite 读ACP权限 如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 ObsClient
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS支持服务端加密功能,使对象加密的行为在OBS服务端进行。 更多关于服务端加密的内容请参考服务端加密。 父主题: 服务端加密
资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArt
桶的高级配置 本章介绍对桶属性的一系列管理操作,包括:桶ACL权限、生命周期管理、桶策略、挂载外部桶。 桶ACL权限 生命周期管理 桶策略 挂载外部桶
桶的基础操作 获取桶列表 创建桶 列举桶内对象 获取桶元数据 获取桶区域位置 删除桶 父主题: API
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
帮助您便捷的进行桶管理。 发布区域:全部 如何创建桶? 如何查看桶的基本信息? OBS 2.0/3.0支持 对象管理 对象(Object)是OBS中数据存储的基本单位。 一个对象实际是一个文件的数据与其相关属性信息(元数据)的集合体。用户上传至OBS的数据都以对象的形式保存在桶
对象下载 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可以调用get_object函数下载对象。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文,配置option 必选 桶参数。 object_info
获取桶存量信息 功能介绍 查询桶对象个数及对象占用空间,对象占用空间大小值为非负整数,单位为Byte(字节)。 由于OBS桶存量是后台统计,因此存量会有一定的时延,不能实时更新,因此不建议对存量做实时校验。 OBS的桶容量API增加对各个存储类型的容量统计,目前仅支持部分区域,请以实际操作为准。