检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置双端固定实现VPC粒度的访问控制 操作场景 使用“双端固定”特性,即同时设置VPC终端节点策略与桶策略,可以对OBS的资源提供VPC粒度的权限控制。 一方面,设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源;另一方面,设置桶策略可
se/。由于cURL无法计算签名,使用cURL时仅支持访问匿名的公共OBS资源。 编码 通过编码调用接口,组装请求消息,并发送处理请求消息。可以使用SDK或自行编码实现。 父主题: 如何调用API
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题,但是OBS实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决。 如
如何迁移数据至OBS? 数据迁移场景 数据迁移至OBS主要有以下几种场景: 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移(跨账号、跨区域以及同区域内数据迁移) 场景一:搬迁本地数据至OBS 搬迁本地数据至OBS的方案如下,了解更多详见搬迁本地数据至OBS最佳实践:
接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过以下步骤实现网站文件托管: 将网站文件上传至OBS的桶中,并设置对象MIME类型。 设置对象访问权限为公共读。 通过浏览器访问对象。 以下代码展示了如何实现网站文件托管: // 初始化配置参数 ObsConfig config
接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过以下步骤实现网站文件托管: 将网站文件上传至OBS的桶中,并设置对象MIME类型。 设置对象访问权限为公共读。 通过浏览器访问对象。 以下代码展示了如何实现网站文件托管: // 引入依赖库 require 'vendor/autoload
metastore:hive --service metastore & 启动presto server:bin/launcher start (如何关闭presto服务:bin/launcher stop) 启动presto client: 重命名presto-cli-333-executable
OBS所有语言的SDK都已实现表单上传签名,无需手动进行签名计算。推荐您直接使用SDK进行接口调用,更方便快捷。 SDK签名实现 手动编码计算签名 按照签名算法手动编码计算签名。 签名算法 SDK签名实现 表6 OBS SDK Header携带签名的实现 SDK 签名实现源文件 Java AbstractClient
如何调用API 构造请求 认证鉴权 返回结果
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过以下步骤实现网站文件托管: 将网站文件上传至OBS的桶中,并设置对象MIME类型。 设置对象访问权限为公共读。 通过浏览器访问对象。 以下代码展示了如何实现网站文件托管: // 认证用的ak和sk硬编码到代码中或者明文存储
如何获取对象访问路径? 对象访问路径为:https://桶名.域名/对象名。例如:https://bucketname.obs.cn-north-4.myhuaweicloud.com/objectname 您可以自己拼接,或通过以下工具方式获取: 表1 对象URL获取方式 工具
获取临时AK/SK和securitytoken参考获取临时AK/SK和securitytoken。 默认取值: 无 SDK签名实现 表2 OBS SDK签名实现 SDK 签名实现源文件 Java AbstractClient.java Python client.py Go auth.go C
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
Hortonworks HDP对接OBS 部署视图 安装版本 硬件:1master+3core(配置:8U32G,操作系统:CentOS 7.5) 软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
分段复制 分段复制是分段上传的一种特殊情况,即分段上传任务中的段通过复制OBS指定桶中现有对象(或对象的一部分)来实现。您可以通过copyPart来复制段。以下代码展示了如何使用分段复制对象: static OBSClient *client; NSString *endPoint =
按照给业务部门授予独立的资源权限的场景配置,虽然可以实现不同部门用户只能访问本部门的资源,但是每个用户都可以看到企业账号下的所有桶资源,无法做到只能看到自己部门的桶。本节介绍如何通过OBS Browser+添加外部桶的方式实现业务部门之间桶资源隔离。 场景假设 假设某企业下有A和