检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Q:选择多AZ存储后,数据是以副本的形式分别存放在多个AZ中吗?如果某个AZ出现故障,其他AZ中的数据是否完整? A:多AZ采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。选择多AZ存储的桶,数据将存储在同一区域的多个不同AZ。当某个AZ不可用时,仍
终端节点(Endpoint)和访问域名 终端节点(Endpoint):OBS为每个区域提供一个终端节点,终端节点可以理解为OBS在不同区域的区域域名,用于处理各自区域的访问请求。各区域的终端节点详情请参见地区和终端节点。 访问域名:OBS会为每一个桶分配默认的访问域名。访问域名是桶在互联网中的域名地址
OBS的持久性和可用性如何? OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案,提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
终端节点 终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。 OBS在每个区域都提供独立的二级域名,访问OBS服务既可以使用OBS提供的域名,也可以使用自定义域名。 本文档所有示例和描述中使用的域名,均以华北-北京四(cn-
示例:x-obs-expires:3 约束限制: 设置的天数计算出的过期时间不能早于当前时间,如10天前上传的对象,不能设置小于10的值。 取值范围: 大于0的整数值。 默认取值: 无 x-obs-tagging String 否 参数解释: 以键值对(Key-Value)的形式指定对象的标签信息,可同时设置多个标签。
象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 断点续传上传的原理是将待上传的文件分成若干个分段分别上传,并实时地将每段上传结果统一记录在断点续传记录对象中,仅当所有分段都上传成功时返回上传成功的结果,否则在回调函数中返回错误码提醒用户通过传入断点续传记录对象再次调用接口进行重新上传。
SDK快速使用OBS OBS SDK对OBS服务提供的REST API进行封装,以简化用户的开发工作。您直接调用OBS SDK提供的接口函数即可使用OBS管理数据。 本章节以Java、Python、Go三种SDK为例,帮助您快速上手OBS的基础功能,包括创建桶、上传对象、下载对象、列举对象。
OBS是否支持断点续传功能? OBS管理工具断点续传功能的支持情况: 表1 OBS管理工具断点续传功能 OBS管理工具 断点续传功能 管理控制台 不支持 OBS Browser+ 支持 obsutil 支持 参考文档:利用obsutil进行断点续传 SDK 支持 使用SDK的断点续传接口时,必须开启断点续
户自己建立的源站,需要在不中断业务的情况下迁移到OBS上。 用户自己建立的数据源站 不涉及 由第三方云厂商收取数据读取费用,具体以第三方云厂商提供的价格为准。 场景三:OBS之间数据迁移 通过对象存储迁移服务OMS实现对象存储服务OBS之间跨账号、跨区域、以及同区域内的数据迁移。
如何获取OBS的终端节点? OBS可以通过域名进行访问,在使用API、第三方工具等方式使用OBS时,可通过域名方便定位OBS中的资源。 在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。 父主题:
进行大规模数据复制的工具,它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法,完成OBS相关配置。
为什么OBS存储的数据丢失了? OBS是否支持流量监控? OBS上传下载速率的影响因素有哪些? 对象存储与SAN存储和NAS存储相比较有什么优势? OBS的文件夹与文件系统的文件夹是否一样? OBS、EVS和SFS有什么区别? 如何判断是否内网访问OBS? 我的OBS桶性能是否会受其他用户业务的影响?
对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。 本示例用于下载桶名为“bucketname”里,名称为“objectname”的对象,同时返回该对象的自定义元数据。 代码示例如下所示: // 引入依赖库 require
READ 读权限。 如果有桶的读权限,则可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。 如果有对象的读权限,则可以获取该对象内容和元数据。 PERMISSION_WRITE WRITE 写权限。 如果有桶的写权限,则可以上传、覆盖和删除该桶内任何对象和段。 此权限在对象上不适用。
参考文档详细介绍了每个接口的参数和使用方法。 当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传
断点续传上传接口是利用分段上传特性实现的,是对分段上传的封装和加强。 断点续传上传接口不仅能在失败重传时节省资源提高效率,还因其对分段进行并发上传的机制能加快上传速度,帮助用户快速完成上传业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发上传的实现等内部细节。
断点续传下载接口是利用分段上传特性实现的,是对范围下载的封装和加强。 断点续传下载接口不仅能在失败重下时节省资源提高效率,还因其对分段进行并发下载的机制能加快下载速度,帮助用户快速完成下载业务;且其对用户透明,用户不用关心checkpoint文件的创建和删除、分段任务的切分、并发下载的实现等内部细节。
参考文档详细介绍了每个接口的参数和使用方法。 当上传大文件时,经常出现因网络不稳定或程序崩溃导致上传失败的情况。失败后再次重新上传不仅浪费资源,而且当网络不稳定时仍然有上传失败的风险。断点续传上传接口能有效地解决此类问题引起的上传失败,其原理是将待上传的文件分成若干个分段分别上传
文档详细介绍了每个接口的参数和使用方法。 当下载大对象到本地时,经常出现因网络不稳定或程序崩溃导致下载失败的情况。失败后再次重新下载不仅浪费资源,而且当网络不稳定时仍然有下载失败的风险。断点续传下载接口能有效地解决此类问题引起的下载失败,其原理是将待下载的对象分成若干个分段分别下