检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以在创桶的时候选择将桶中数据冗余存储在多个可用区,以获得更高的数据可靠性。OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 支持的区域请参见功能总览。 × √ 数据回源 您可以利用数据回源功能,实现向OBS请求数据不存在时,通过回源规则自动从源站获取对应数据。
繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景。 cold:归档存储,安全、持久且成本极低,适用于很少访问(平均一年访问一次)数据的业务场景。 meta 附加参数,可选 上传文件时可指定的标准和自定义元数据。格式为:key1:value1#key2:value2#key3:value3。
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
获取自定义元数据 在下载对象成功后response中包含了对象的元数据(mataDataDict)。 父主题: 下载对象
下载相关章节完成数据迁移。 不同方式支持的操作系统、迁移数据量、操作简易程度存在差异,推荐您使用obsutil工具进行数据迁移。 为了节省您的开支,建议您配置内网DNS,通过华为云内网完成数据迁移。具体配置方法,请参见通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型
中存储的数据会予以保留,账号会处于受限状态。保留期满仍未缴清欠款,存储在OBS中的数据将被删除且无法恢复。详情请参见欠费和续费。 开启桶的多版本控制 利用多版本控制,您可以在一个桶中保留多个版本的对象,使您更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据,详情请参见多版本控制。
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据: // 认证用的ak和sk硬编码到代
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。 本示例用于获取桶名为“bucketname”,名称为“objectname”的对象自定义元数据。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
r继承于CTRCipherGenerator,不需要提供数据密钥或初始值,只需要提供RSA公钥或RSA私钥,用以加密和解密随机生成的数据密钥。 CTRCipherGenerator仅需提供一个数据密钥,所有对象均使用该数据密钥进行加密。 表1 CtrRSACipherGenerator类型参数
已删除的数据是否可以恢复? 已删除的数据能否恢复取决于您是否开启了多版本控制功能: 桶开启了多版本控制功能时,删除的对象会保存到“已删除对象”列表中,您可以在“已删除对象”列表中恢复对象,详情请参见取消删除文件。 桶没有开启多版本控制功能时,删除对象时系统会完全删除数据,已删除的对象不可恢复。
OBS提供五级可靠性架构,通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据的持久性和可用性。 OBS的数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。 图1 五级可靠性架构保证数据稳定,业务可靠 父主题:
获取桶元数据(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 调用获取桶元数据接口,可获取指定桶的相关信息,包括指定桶的存储类别、区域位置、跨域资源共享(CORS)规则、数据冗余存储策略等信息。
模型,为您定制适合超大规模数据迁移的方案。 OMS方式 OMS是一种云上的对象数据迁移服务,具有安全、高效等优势。数据迁移时,采用HTTPS数据加密通道,确保数据的传输安全。在重复迁移过程中,只迁移有变动或新增的对象,降低成本。 图1 OMS方式迁移数据示意图 创建OBS桶 登录OBS控制台,创建桶用于存放迁移数据。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
桶里的每个对象必须拥有唯一的对象键值。 Metadata:元数据,即对象的描述信息,包括系统元数据和用户元数据,这些元数据以键值对(Key-Value)的形式被上传到OBS中。 系统元数据由OBS自动产生,在处理对象数据时使用,包括Date,Content-length,Last
OBS会不会扫描我的数据用于其他用途? 不会。 系统对数据做的扫描仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),不会读取具体的内容。 父主题: 数据安全、迁移和备份
者服务端返回5XX错误时,SDK会进行指数退避重试。 ObsClient.putObject接口,当数据源是非FileInputStream的其他InputStream时,由于数据流不能回读,当发生IO异常时,SDK不会进行重试,需要上层应用程序自行重试。 ObsClient.g
按需计费没有到期的概念,只要保证账号余额充足,则可一直使用对象存储服务。 如果账号欠费,会根据“客户等级”定义不同的保留期时长。进入保留期后您在OBS中存储的数据会予以保留,账号会处于受限状态。保留期内不能访问及使用按需资源,但对存储在OBS中的数据仍予以保留。保留期满仍未缴清欠
目录分享 如果您想将一个文件夹分享给其他人,同时希望能够指定有效期,OBS Browser+提供文件夹分享和授权码登录的功能,轻松为您完成数据分享。 首先,您登录OBS Browser+后,选择您要分享的目录右键或者单击操作栏的分享按钮。 然后,选择分享链接的有效期,并输入提取码