检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。
我可以在OBS中存储多少数据? 我如何选择将数据存储在哪个区域? OBS支持使用HTTPS协议访问吗? OBS中的数据可以让其他用户访问吗? 访问OBS链接提示告警信息的原因和解决办法 已删除的数据是否可以恢复?
只适用于多AZ桶产生的标准存储数据容量计费,且只能用于资源包所属区域。 归档存储包 用于抵扣归档存储类别的数据存储容量费用。 只能用于资源包所属区域。归档存储数据均以单AZ模式存储。
当桶开启多版本控制时,最新版本的对象支持设置元数据,历史版本的对象不支持设置元数据。 对于存储类别为归档或深度归档存储的对象,不能对其设置对象的元数据。
OBS如何保证我的数据不会被盗用? 只有桶或对象的拥有者才能访问,访问时需要提供访问密钥(AK/SK),并且还有ACL、桶策略、防盗链等多种访问控制机制保证数据的访问安全。 父主题: 数据安全、迁移和备份
OBS允许您对桶设置生命周期规则,实现自动转换对象的存储类型、自动淘汰过期的对象,以有效利用存储特性,优化存储空间。针对不同前缀的对象,您可以同时设置多条规则。一条规则包含: 规则ID,用于标识一条规则,不能重复。 受影响的对象前缀,此规则只作用于符合前缀的对象。
获取上传进度 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过PutObjectRequest.setProgressListener设置数据传输接口来获取上传的进度。
您可以登录华为云控制台,使用专属对象存储。也可以在专属对象存储页面查看“专属对象存储池”的存储类别、到期时间和存储空间使用率。 专属对象存储的购买时长,从订单完成时开始计算。 父主题: 计费相关
我对存储在OBS上的数据加密时,可支持哪些加密技术? 您在将数据上传到OBS中前,可以事先对数据进行加密,以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密,使对象更安全的存储在OBS中。
StorageClassEnum.STANDARD 低频访问存储 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 StorageClassEnum.WARM 归档存储 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。
全部 × √ 多AZ 您可以在创桶的时候选择将桶中数据冗余存储在多个可用区,以获得更高的数据可靠性。OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 支持的区域请参见功能总览。
防止数据被盗用: 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。即使是后台工程师,也无法导出您存储在OBS的数据。 您还可以使用各种访问控制机制,例如桶策略和访问控制列表(ACL),选择性地向您的用户和用户组授予权限。
七牛云迁移至华为云OBS 本方案介绍了如何将七牛云对象存储(Kodo)上的数据迁移到华为云对象存储OBS。 具体方案请参见操作教程。
清单额外字段 桶清单文件中包含的对象信息:文件大小、上次修改时间、存储类别、ETag、分段上传、复制状态、加密状态。字段含义请参见清单中列出的对象元数据。 单击“下一步”,确认桶策略。 OBS将在桶清单存储桶上创建桶策略,以允许其将清单文件存入该桶。 单击“确定”。
上传归档存储的ZIP包,不会触发ZIP包解压,如果桶已开启归档数据直读功能,则可以触发ZIP包解压。上传深度归档存储的ZIP包,不会触发ZIP包解压。 ZIP包解压处理单个压缩包的最长处理时间是10分钟,超过10分钟未完成会解压失败。
功能介绍 调用获取桶元数据接口,可获取指定桶的相关信息,包括指定桶的存储类别、区域位置、跨域资源共享(CORS)规则、数据冗余存储策略等信息。 接口约束 您必须是桶拥有者或拥有获取桶元数据的权限,才能获取桶元数据。
WARM 低频访问存储 参数解释: 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 COLD 归档存储 参数解释: 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。
OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 一般情况下,OBS不支持在线编辑对象内容。可以把对象下载到本地,修改后再重新上传至OBS。
对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。