检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS是否支持对象加密上传? OBS提供了服务端加密功能,用户可以使用加密的方式上传对象,数据会在服务端加密成密文后存储。用户下载加密对象时,存储的密文会先在服务端解密为明文,再提供给用户。 OBS提供的多种访问方式中,对于对象加密上传的支持情况不同,具体如表1所示。 表1 对象加密上传在不同访问方式下的支持情况
说明 桶名 桶的名称。 区域 桶所在的区域。 存储类别 桶的存储类别,有标准存储、低频访问存储、归档存储三种类别。 存储用量 桶中存储的对象占用的存储空间。 桶的存储空间默认情况下是没有配额限制的,您也可以通过设置桶配额来设置桶的存储空间,详情请参见设置桶配额。 对象数量 桶中文件夹、当前版本文件和历史版本文件总和。
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
桶存储类型 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存
获取桶元数据(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 调用获取桶元数据接口,可获取指定桶的相关信息,包括指定桶的存储类别、区域位置、跨域资源共享(CORS)规则、数据冗余存储策略等信息。
对象的自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8
设置对象元数据(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前支持系统定义的元数据和自定义元数据。 系
对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8 编码中的字节总数。 自定义元数据的key值不区分大小写,OBS统一转为小写进行存储。value值区分大小写。
我可以在线编辑OBS中的对象吗? OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 一般情况下,OBS不支持在线编辑对象内容。可以把对象下载到本地,修改后再重新上传至OBS。 针对以下特殊场景,OBS支持在线对对象进行处理: 修改对象元数据,如ContentDispos
)的数据,而标准存储量、低频访问存储量、归档存储量数据查询的是主账号下所有桶的数据。 账号中存在SFS 3.0的桶,总存储量数据不包含该类型的桶,而标准存储量、低频访问存储量、归档存储量数据包含该类型的桶。 总存储量数据 >= (标准存储量+低频访问存储量+归档存储量) 账号中存
Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负担。 在ECS上可以通过公网和华为云内网两种网络访问OBS。当有存取对象数据的需求时,公网方式响应速度
OBS中的数据可以让其他用户访问吗? 可以。 对于桶,可以通过桶ACL和桶策略授予其他用户桶的读取权限,其他用户即可访问该桶。 对于对象,可以通过对象ACL,对象策略和桶策略来授予其他用户对象的读取权限,或者设置对象分享功能,其他用户即可访问该对象。 父主题: 产品咨询
者服务端返回5XX错误时,SDK会进行指数退避重试。 ObsClient.putObject接口,当数据源是非FileInputStream的其他InputStream时,由于数据流不能回读,当发生IO异常时,SDK不会进行重试,需要上层应用程序自行重试。 ObsClient.g
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS允许您对桶设置生命周期规则,实现自动转换对象的存储类型、自动淘汰过期的对象,以有效利用存储特性,优化存储空间。针对不同前缀的对象,您可以同时设置多条规则。一条规则包含:
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
我对存储在OBS上的数据加密时,可支持哪些加密技术? 您在将数据上传到OBS中前,可以事先对数据进行加密,以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密,使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。
对象MD5值(Content-MD5) 对象数据的MD5值(经过Base64编码),提供给OBS服务端,校验数据完整性。 无 对象存储类型 对象的存储类型,不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。默认与桶的存储类型保持一致,可以设置为与桶的存储类型不同。 无 对象自定义元数据 用户对上传到桶
中所有对象生成清单。 同一个桶中多条清单规则的筛选条件不能彼此包含。 清单存储桶 存储桶清单文件的桶,只能选择与源桶相同区域的桶。 清单文件前缀 清单文件的存储路径前缀。 清单文件生成后,将存储至清单存储桶的以下路径:清单文件前缀/源桶名/清单名称/日期时间/files/ 如不配