正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
"fs.obs.impl":"org.apache.hadoop.fs.obs.OBSFileSystem", "fs.obs.access.key":"可访问OBS的ak",
获取桶存储类型(Python SDK) 功能介绍 OBS提供了这些存储类型:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类型。 调用获取桶存储类型接口,可获取指定桶的存储类型。 接口约束 您必须是桶
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
设置桶存储类型(Go SDK) 功能说明 OBS提供了这些存储类型:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类型。 调用设置桶存储类型接口,可设置指定桶的存储类型。设置了桶的默认存储类型之后,如果
设置桶存储类型(Python SDK) 功能说明 OBS提供了这些存储类型:标准存储、低频访问存储、归档存储、深度归档存储(受限公测中),从而满足客户业务对存储性能、成本的不同诉求,详情可参见OBS存储类型。 调用设置桶存储类型接口,可设置指定桶的存储类型。设置了桶的默认存储类型之后,
原理说明 OBS签名机制的运作流程如图1所示: 图1 OBS API调用的签名和验签机制 表1 OBS API调用的签名和验签机制 执行端 序号 步骤 说明 客户端 1 构造HTTP请求 用户根据自身诉求构建HTTP请求消息,一个完整的API调用请求包含请求URI、请求方法、请求
RESTORE 是 是 通过OBS Java SDK生成临时URL访问OBS的步骤如下: 通过ObsClient.createTemporarySignature生成带签名信息的URL。 使用任意HTTP库发送HTTP/HTTPS请求,访问OBS服务。 接口约束 OBS支持的region以
按照订单的购买周期结算。 后付费 按照OBS实际使用时长计费。 计费周期 小时 小时 适用计费项 存储费用-单AZ标准存储 存储费用-多AZ标准存储存储费用 存储费用-单AZ归档存储存储费用 公网流出流量 回源流量 跨区域复制流量 对象存储OBS所有计费项均支持按需计费,详见按需计费
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。 对接步骤
= [[OBSClient alloc] initWithConfiguration:conf]; // 创建列举对象请求 OBSListBucketsRequest *request = [OBSListBucketsRequest new]; // 列举对象 OBSBFTask
为获取具有不同权限的临时访问密钥,需设置临时策略,设置方式为添加请求体中的policy参数,可参考获取临时AK/SK和securitytoken。 下面将给出获取临时访问密钥的请求样例,其中临时策略加粗表示。 为终端APP-1获取临时访问密钥的请求示例如下: { "auth": { "identity":
OBS服务环境搭建 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站。 在页面右上角单击“注册”。 按需填写注册信息并单击“同意协议并注册”。 开通OBS服务 使用OBS服务之前必须先充值,才能正常使用OBS服务。 登录管理控制台。 单击页面右上角的“费用和成本”进入费用中心页面。
OBS资源 资源是服务中存在的对象。在OBS中,资源包括桶和对象。您可以在创建自定义策略时,通过指定资源路径来选择特定资源。 表1 OBS的指定资源与对应路径 资源类型 资源名称 资源路径 bucket 桶 【格式】 obs:*:*:bucket:桶名称 【说明】 对于桶资源,I
我可以存储哪种类型的数据? OBS可以存储任何格式的任何类型数据。 父主题: 产品咨询
DELETE类请求TPS 当前统计周期内所有DELETE类平均每秒请求数。 单位:次 ≥ 0 counts 用户 桶 域名 1分钟 request_success_rate 请求成功率 该指标用于衡量存储服务的系统的可用性。非服务端错误请求(返回状态码为5xx)占总请求的百分比,计算方式:
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类(ObsConfiguration)创建OBS客户端(ObsClient)时,您可通过ObsConf
志记录会失败。 OBS支持对桶的访问请求创建并保存访问日志记录,可用于进行请求分析或日志审计。 由于日志存储在OBS中也会占用用户的OBS存储空间,即意味着将产生额外的存储费用,默认情况下,OBS不会为用户的桶收集访问日志。 由于日志文件是OBS产生,并且由OBS上传到存放日志的
所有桶)无法通过OBS权限进行配置,只能在IAM权限中配置,OBS权限只能作用于资源级(桶和对象)。如果要同时授予OBS服务级权限和资源级权限,必须使用IAM权限,或者IAM权限与OBS权限结合使用。 图2 OBS权限与IAM权限的关系 OBS权限控制要素 OBS的权限控制模型中,以下几个要素共同决定了授权的结果:
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置: