检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
上传/下载性能优化 OBS Browser+对大于50MB的文件/对象默认采用分段方式进行上传/下载,与分段任务相关的参数都在“系统设置”->“基础设置”中。 表1 参数 描述 最大并行任务数 任务同时运行的最大数量,默认是3,取值范围是:1~50。 单任务最大并发数 每个任务的
作为请求参数时必选 参数解释: 表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。 取值范围: 可选值:AES256,即选择SSE-C方式加密对象。 默认取值: 无 Key string 作为请求参数时必选 参数解释: SSE-C方式下加密使用的密钥,该密钥用于加密对象。 约束限制:
str 必选 参数解释: 以SSE-KMS方式加密对象。 取值范围: 可选值:kms,即选择SSE-KMS方式加密对象。 默认取值: 无 key str 可选 参数解释: SSE-KMS方式下加密的主密钥。 取值范围: 支持两种格式的密钥描述方式: regionID:domainID(租户ID):key/key_id
权限控制方式介绍 IAM权限 桶策略 ACL
创建并行文件系统 注册华为账号并开通华为云 在使用obsfs之前,您需要拥有一个华为账号并且成功开通OBS。OBS提供按需和资源包两种计费方式,充值或购买资源包即开通OBS服务。成功开通OBS后即可进行访问和使用。如果您已有账号且账号已开通OBS服务,可以略过此部分内容。 打开华为云网站www
作为请求参数时必选 参数解释: 表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。 取值范围: 可选值:AES256,即选择SSE-C方式加密对象。 默认取值: 无 Key string 作为请求参数时必选 参数解释: SSE-C方式下加密使用的密钥,该密钥用于加密对象。 约束限制:
artUploadParts权限,如果使用桶策略则需授予ListMultipartUploadParts权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。
SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 文本上传 流式上传 文件上传 分段上传 基于表单上传 SDK支持上传0KB~5GB的对象。流式上传和文件上传的内容大小不能超过5GB;当上传较大文件时,请使用分段上传,分段上传每段内容大小不能超过5GB;基于表单上传提供了基于浏览器表单上传对象的方式。 如果
file为null,需要设置input字段不为空;input为null ,需要设置file字段不为空。二者需要选其一。 默认取值: 无 file java.io.File 可选 参数解释: 待上传对象的文件。 约束限制: file为null,需要设置input字段不为空;input为null
长度为32的字符串。 默认取值: 无 sseKms str 参数解释: SSE-KMS方式的算法。 取值范围: kms,即以SSE-KMS方式加密对象。 默认取值: 无 sseKmsKey str 参数解释: SSE-KMS加密方式下使用的KMS主密钥的ID值。 取值范围: 有效值支持两种格式: r
作为请求参数时必选 参数解释: 表示服务端加密是SSE-C方式。对象使用SSE-C加密方式。 取值范围: 可选值:AES256,即选择SSE-C方式加密对象。 默认取值: 无 Key string 作为请求参数时必选 参数解释: SSE-C方式下加密使用的密钥,该密钥用于加密对象。 约束限制:
ortMultipartUpload权限,如果使用桶策略则需授予AbortMultipartUpload权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。
str 必选 参数解释: 以SSE-KMS方式加密对象。 取值范围: 可选值:kms,即选择SSE-KMS方式加密对象。 默认取值: 无 key str 可选 参数解释: SSE-KMS方式下加密的主密钥。 取值范围: 支持两种格式的密钥描述方式: regionID:domainID(租户ID):key/key_id
分段上传(Java SDK) 分段上传概述(Java SDK) 初始化分段上传任务(Java SDK) 上传段(Java SDK) 合并段(Java SDK) 分段上传场景化示例(Java SDK) 取消分段上传任务(Java SDK) 列举已上传的段(Java SDK) 列举分段上传任务(Java
customer-key-MD5一起使用。 否。当使用SSE-C方式时,必选,需要与初始化上传段任务使用相同的算法。 x-obs-server-side-encryption-customer-key SSE-C方式下使用该头域,该头域表示加密目标段使用的密钥。该密钥用于加密对象。
参数解释: 该头域表示服务端的加密方式。 示例:x-obs-server-side-encryption:kms 约束限制: 如果服务端加密是SSE-KMS方式,响应包含该头域。 取值范围: kms(指SSE-KMS加密方式) obs(指SSE-OBS加密方式) 默认取值: 无 kms_key_id
只针对一个对象,桶策略中针对对象的策略可以配置多个对象或桶中所有对象。 桶策略应用场景 允许其他华为云账号访问OBS资源,可以使用桶策略的方式授权对应权限。 当不同的桶对于不同的IAM用户有不同的访问控制需求时,需使用桶策略分别授权IAM用户不同的权限。 桶策略通用配置方法 使用模板创建桶策略
默认取值: 无 x-obs-server-side-encryption String 否。当使用SSE-KMS方式时,必选。 参数解释: 使用该头域表示服务端加密是SSE-KMS方式。 示例:x-obs-server-side-encryption: kms 约束限制: 无 取值范围:
参数解释: 该头域表示服务端的加密方式。 示例:x-obs-server-side-encryption:kms 约束限制: 如果服务端加密是SSE-KMS方式,响应包含该头域。 取值范围: kms(指SSE-KMS加密方式) obs(指SSE-OBS加密方式) 默认取值: 无 kms_key_id