检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用obsftp上传/下载数据失败 现象描述 obsftp能够成功启动,但上传/下载数据失败。 可能原因 由于obsftp启动时,如果不指定使用端口,会从0~65535端口中随机选一个。
WARM WARM 低频访问存储。 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 COLD COLD 归档存储。 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。
开启后,可以检索和还原各个版本的对象,在意外操作或应用程序故障时快速恢复数据。 获取桶的多版本状态 获取指定桶的多版本功能状态。 设置桶默认存储类型 创建或更新桶的默认存储类型配置信息。 获取桶默认存储类型 获取桶的默认存储类型配置信息。
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。
当桶开启多版本控制时,最新版本的对象支持设置元数据,历史版本的对象不支持设置元数据。 对于存储类别为归档存储或深度归档存储的对象,不能对其设置对象的元数据。
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
OBS允许您对桶设置生命周期规则,实现自动转换对象的存储类型、自动淘汰过期的对象,以有效利用存储特性,优化存储空间。针对不同前缀的对象,您可以同时设置多条规则。一条规则包含: 规则ID,用于标识一条规则,不能重复。 受影响的对象前缀,此规则只作用于符合前缀的对象。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。
当桶开启多版本控制时,最新版本的对象支持设置元数据,历史版本的对象不支持设置元数据。 对于存储类别为归档或深度归档存储的对象,不能对其设置对象的元数据。
您可以登录华为云控制台,使用专属对象存储。也可以在专属对象存储页面查看“专属对象存储池”的存储类别、到期时间和存储空间使用率。 专属对象存储的购买时长,从订单完成时开始计算。 父主题: 计费相关
StorageClassEnum.STANDARD 低频访问存储 低频访问存储适用于不频繁访问(平均一年少于12次)但在需要时也要求能够快速访问数据的业务场景。 StorageClassEnum.WARM 归档存储 归档存储适用于很少访问(平均一年访问一次)数据的业务场景。
我可以在OBS中存储多少数据? 我如何选择将数据存储在哪个区域? OBS支持使用HTTPS协议访问吗? OBS中的数据可以让其他用户访问吗? 访问OBS链接提示告警信息的原因和解决办法 已删除的数据是否可以恢复?
我对存储在OBS上的数据加密时,可支持哪些加密技术? 您在将数据上传到OBS中前,可以事先对数据进行加密,以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密,使对象更安全的存储在OBS中。
桶中不完整的数据称之为碎片,通常是由于数据上传失败而产生的。 桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。
只适用于多AZ桶产生的标准存储数据容量计费,且只能用于资源包所属区域。 归档存储包 用于抵扣归档存储类别的数据存储容量费用。 只能用于资源包所属区域。归档存储数据均以单AZ模式存储。
OBS如何保证我的数据不会被盗用? 只有桶或对象的拥有者才能访问,访问时需要提供访问密钥(AK/SK),并且还有ACL、桶策略、防盗链等多种访问控制机制保证数据的访问安全。 父主题: 数据安全、迁移和备份
OBS会不会扫描我的数据用于其他用途? 不会。 系统对数据做的扫描仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),不会读取具体的内容。 父主题: 数据安全、迁移和备份
获取上传进度 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过PutObjectRequest.setProgressListener设置数据传输接口来获取上传的进度。
七牛云迁移至华为云OBS 本方案介绍了如何将七牛云对象存储(Kodo)上的数据迁移到华为云对象存储OBS。 具体方案请参见操作教程。
全部 × √ 多AZ 您可以在创桶的时候选择将桶中数据冗余存储在多个可用区,以获得更高的数据可靠性。OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 支持的区域请参见功能总览。