检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
op系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。 升级hdfsreader和hdfswriter模块依赖的hadoop版本,以升级到2.8.3版本为例。 修改datax\hdfswriter\pom
回源时会优先使用主源站地址,如果同时配置多个主地址,会轮询访问所有主地址。如果配置2个及以上主地址,第一次请求主地址失败,并且满足重试条件时,会选用另一个主地址重试一次。 至少配置一个主地址。 最多同时配置5个主地址。 否 slave 备源端地址。如果源端为HTTP公共可访问的桶,则此地址为桶域
访问,避免数据被窃取。详情请参见限制指定IP地址对桶的访问权限、配置双端固定和桶策略参数说明。 建议使用双端固定,即同时设置VPC终端节点策略与桶策略,对OBS的资源进行权限控制 设置VPC终端节点策略可以限制VPC中的服务器(ECS/CCE/BMS)访问OBS中的特定资源;同时
access_key_id 访问密钥中的AK。 N/A secret_access_key 访问密钥中的SK。 N/A server 连接OBS的服务地址。可包含协议类型、域名、端口号。示例:https://your-endpoint:443。(出于安全性考虑,建议使用https协议) N/A
0支持 桶配置信息复制 OBS提供了桶配置信息复制功能,方便您在创建新桶之后,快速将已有桶的配置信息复制到新桶中。 支持复制的桶配置信息包括:桶策略、CORS规则、生命周期规则、事件通知规则、数据回源规则、图片处理样式、在线解压规则。 发布区域:全部 复制桶配置信息 OBS 3.0支持
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能说明 用户执行获取对象ACL的操作,返回信息包含指定对象的权限控制列表信息。 接口约束 您必须是桶拥有者或拥有获取对象ACL的权限,才能获取对象ACL。建议使用IAM或桶策略进行授权,如果使用IAM
功能介绍 调用列举桶内对象接口,可列举指定桶内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。 接口约束 每次接口调用最多返回1000个对象信息。 您必须是桶拥有者或拥有列举桶内对象的权限,才能列举桶内对
com,则必须携带此参数。 取值范围: 当前有效的OBS区域和终端节点的更多信息,请参考地区和终端节点。终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以向企业管理员获取区域和终端节点信息。 默认取值: 终端节点为obs.myhuaweicloud.com且用户
、请求参数等信息生成一个临时访问权限的URL,这个URL中会包含鉴权信息,您可以使用该URL进行访问OBS服务进行特定操作。在生成URL时,您需要指定URL的有效期。所有继承OBSBaseRequest的子类都能使用临时鉴权访问。 临时授权访问支持的操作以及相关信息见下表: 操作名
许多错误响应包含其他的更丰富的错误信息, 建议将所有错误信息记入日志,方便程序员在诊断程序错误时阅读和理解。 错误码说明 在向OBS系统发出请求后,如果遇到错误,会在响应中包含响应的错误码描述错误信息。对象存储访问服务的错误码如表2所示。 表2 错误码 状态码 错误码 错误信息 处理措施 301
重写响应头(Go SDK) 功能说明 下载对象时,可以重写部分HTTP/HTTPS响应头信息。可重写的响应头信息见下表: 参数 作用 GetObjectInput.ResponseContentType 重写HTTP/HTTPS响应中的Content-Type GetObjectInput
功能介绍 调用列举桶内对象接口,可列举指定桶内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数,返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。 接口约束 每次接口调用最多返回1000个对象信息。 您必须是桶拥有者或拥有列举桶内对象的权限,才能列举桶内对
SDK自定义异常(ObsException)是由ObsClient统一抛出的异常。通常是OBS服务端错误,包含OBS错误码、错误信息等,便于用户定位问题,并做出适当的处理。 ObsException通常包含以下错误信息: ObsException.StatusCode:HTTP状态码。 ObsException.
获取对象ACL(Java SDK) 功能说明 用户执行获取对象ACL的操作,返回信息包含指定对象的权限控制列表信息。可以通过本接口获取指定桶中对象的访问权限。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是
nWpog== 约束限制: 无 取值范围: 无 默认取值: 无 是 请求消息元素 在此请求中,需要在请求的消息体中配置桶的标签。标签的配置信息以XML格式上传。具体的配置元素如表2。 表2 桶的标签配置元素 消息头名称 描述 是否必选 Tagging 参数解释: TagSet和Tag的根元素
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 下载对象时,可以重写部分HTTP/HTTPS响应头信息。可重写的响应头信息见下表: 参数 作用 ResponseContentType 重写HTTP/HTTPS响应中的Content-Type ResponseContentLanguage
lang.RuntimeException类。通常是OBS服务端错误,包含OBS错误码、错误信息等,便于用户定位问题,并做出适当的处理。 ObsException通常包含以下错误信息: ObsException.getResponseCode():HTTP状态码。 ObsException
com,则必须携带此参数。 取值范围: 当前有效的OBS区域和终端节点的更多信息,请参考地区和终端节点。终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以向企业管理员获取区域和终端节点信息。 默认取值: 终端节点为obs.myhuaweicloud.com且用户
对象时,CDN可以提供网站加速、文件下载加速和点播加速,提升终端用户使用感受。更多加速域名相关信息请参见通过CDN加速域名访问桶。 桶默认域名 桶创建成功后,系统会根据桶名和桶的区域信息生成一个访问域名,即桶默认域名。 例如:examplebucket.obs.cn-north-4
com,则必须携带此参数。 取值范围: 当前有效的OBS区域和终端节点的更多信息,请参考地区和终端节点。终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以向企业管理员获取区域和终端节点信息。 默认取值: 终端节点为obs.myhuaweicloud.com且用户