检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分段上传-初始化分段上传任务(Go SDK) 功能说明 使用多段上传特性时,用户必须首先调用创建多段上传任务接口创建任务,系统会给用户返回一个全局唯一的多段上传任务号,作为任务标识。后续用户可以根据这个标识发起相关的请求,如:上传段、合并段、列举段等。创建多段上传任务不影响已有的
设置桶的加密配置(Harmony SDK) 功能介绍 设置桶的加密配置,以允许在该桶中上传对象时,采用对应加密配置对数据进行加密,数据会在服务端被加密成密文后存储,用户下载加密对象时,存储的密文会先在服务端解密为明文,再提供给用户。 调用设置桶加密配置接口,您可以为指定桶创建或更新加密配置信息。
获取桶的加密配置(Harmony SDK) 功能介绍 桶的加密配置功能,支持在该桶中上传对象时,采用对应加密配置对数据进行加密,数据会在服务端被加密成密文后存储,用户下载加密对象时,存储的密文会先在服务端解密为明文,再提供给用户。 调用获取桶加密配置接口,您可以获取指定桶的加密配置信息。
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备,然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素,比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护,都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
使用备份软件实现本地数据备份至OBS 使用场景 传统的备份与恢复方案需要将备份数据写入磁带等存储设备,然后再运输至数据中心。在此过程中数据的安全及完整性依赖很多因素,比如硬件、人员等等。无论是从前期搭建数据中心还是后期的维护,都使得传统的备份与恢复方案面临着管理复杂、投入成本高的难题。
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
通过OBS Browser+图形化工具快速使用OBS OBS Browser+是一款图形化工具,可以非常方便地让用户在本地对OBS的数据进行管理。 本章节以上传一个文件至“test-example-bucket”桶为例,帮助您快速通过OBS Browser+使用OBS的基础功能,
恢复归档或深度归档存储对象(Harmony SDK) 功能说明 如果要获取归档或深度归档存储对象的内容,需要先将对象恢复,然后再执行下载数据的操作。对象恢复后,会产生一个标准存储类型的对象副本,也就是说会同时存在标准存储类型的对象副本和归档或深度归档存储对象,在恢复对象的保存时间
上传对象-流式上传(Go SDK) 功能说明 您可以将本地文件直接通过Internet上传至OBS指定的位置。待上传的文件可以是任何类型:文本文件、图片、视频等。 通过SDK的流式上传,可以上传小于5GB的文件。本章节介绍如何使用Go SDK流式上传对象。 流式上传使用io.Re
上传对象-文件上传(Go SDK) 功能说明 您可以将本地文件直接通过Internet上传至OBS指定的桶中。待上传的文件可以是任何类型:文本文件、图片、视频等。 接口约束 您必须是桶拥有者或拥有上传对象的权限,才能上传对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业
分段上传-复制段(Python SDK) 功能说明 初始化分段上传任务后,通过分段上传任务的ID,复制段到指定桶中。 多段上传任务创建后,用户可以通过指定多段上传任务号,为特定的任务上传段。添加段的方式还包括调用段拷贝接口。允许用户将已上传对象的一部分或全部拷贝为段。 将源对象o
上传对象简介(Python SDK) 上传对象到指定桶中。在OBS中,用户操作的基本数据单元是对象。OBS Python SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 文本上传:使用字符串作为对象的数据源。 流式上传:使用包含“read”属性的可读对象作为对象的数据源。
通过CDN加速域名访问桶 使用场景 现在越来越多的行业使用OBS存储图片、视频、软件包等静态资源文件,并将OBS作为网站、论坛、APP、游戏等业务的存储源。在需要获取这些静态资源时,用户会通过URL直接从OBS请求数据,但一般情况下文件只存储在一个区域,距离文件存储区域较远的用户
通过s3fs挂载OBS对象桶 应用场景 对于原本使用本地文件系统存储数据的用户,希望把数据存储在OBS上但不改变数据的访问方式,推荐使用s3fs。 s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux
上传对象-追加上传(Go SDK) 功能说明 您可以根据需要上传文件或者文件夹至已有的OBS桶。待上传的文件可以是任何类型:文本文件、图片、视频等。 追加写对象操作是指在指定桶内的一个对象尾追加上传数据,不存在相同对象键值的对象则创建新对象。 接口约束 您必须是桶拥有者或拥有上传
上传对象-创建文件夹(Python SDK) 功能说明 您可以在已创建的桶中新建一个文件夹,从而更方便的对存储在OBS中的数据进行分类管理。 OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。创建文件夹实际上是创建了一个大小为0且对象名以“/”结尾的对象,这类对象与其他对象
获取桶列表(Harmony SDK) 功能介绍 OBS桶是对象的容器,您上传的文件都存放在桶中。调用获取桶列表接口,可列举当前账号所有地域下符合指定条件的桶。返回结果以桶名的字典序排序。 接口约束 您必须拥有obs:bucket:ListAllMyBuckets权限,才能获取桶列
分段上传-上传段(Python SDK) 功能说明 初始化分段上传任务后,通过分段上传任务的ID,上传段到指定桶中。除了最后一段以外,其他段的大小范围是100KB~5GB;最后一段的大小范围是0~5GB。上传的段的编号也有范围限制,其范围是1~10000。 上传段时,除了指定上传
分段上传-上传段(Go SDK) 功能说明 初始化分段上传任务后,通过分段上传任务的ID,上传段到指定桶中。除了最后一段以外,其他段的大小范围是100KB~5GB;最后一段的大小范围是0~5GB。上传的段的编号也有范围限制,其范围是1~10000。 上传段时,除了指定上传ID,还